通用数据增强技术，随机量化适用于任意数据模态

自监督学习算法在自然语言处理、计算机视觉等领域取得了重大进展。这些自监督学习算法尽管在概念上是通用的，但是在具体操作上是基于特定的数据模态的。这意味着需要为不同的数据模态开发不同的自监督学习算法。为此，本文提出了一种通用的数据增强技术，可以应用于任意数据模态。相较于已有的通用的自监督学习，该方法能够取得明显的性能提升，同时能够代替一系列为特定模态设计的复杂的数据增强方式并取得与之类似的性能。

论文地址：https://arxiv.org/abs/2212.08663
代码：https://github.com/microsoft/random_quantize

简介

重写后的内容：目前，Siamese表征学习/对比学习需要使用数据增强技术来构建同一数据的不同样本，并将其输入到两个并行的网络结构中，以产生足够强的监督信号。然而，这些数据增强技术通常非常依赖于模态特定的先验知识，通常需要手动设计或搜索适用于当前模态的最佳组合。除了耗时耗力之外，找到的最佳数据增强方法也很难迁移到其他领域。例如，常见的针对自然RGB图像的颜色抖动（color jittering）无法应用于除自然图像以外的其他数据模态

一般而言，输入数据可以被表示为由序列维度和通道维度组成的二维向量。序列维度通常与数据的模态相关，例如图像的空间维度、语音的时间维度和语言的句法维度。而通道维度则与模态无关。在自监督学习中，遮蔽建模或使用遮蔽作为数据增强已经成为一种有效的学习方法。然而，这些操作都是在序列维度上进行的。为了能够广泛适用于不同的数据模态，本文提出了一种作用于通道维度的数据增强方法：随机量化。通过使用非均匀量化器对每个通道中的数据进行动态量化，量化值是从随机划分的区间中随机采样的。通过这种方式，原始输入在同一个区间内的信息差被删除，同时保留了不同区间数据的相对大小，从而达到了遮蔽的效果

该方法在各种不同数据模态上超过了已有任意模态自监督学习方法，包括自然图像、3D 点云、语音、文本、传感器数据、医疗图像等。在多种预训练学习任务中，例如对比学习（例如 MoCo-v3）和自蒸馏自监督学习（例如 BYOL）都学到了比已有方法更优的特征。该方法还经过验证，适用于不同的骨干网络结构，例如 CNN 和 Transformer。

方法

量化（Quantization）指的是利用一组离散的数值表征连续数据，以便于数据的高效存储、运算以及传输。然而，一般的量化操作的目标是在不损失精确度的前提下压缩数据，因而该过程是确定性的，而且是设计为与原数据尽量接近的。这就限制了其作为增强手段的强度和输出的数据丰富程度。

本文提出一种随机量化操作（randomized quantization），将输入的每个 channel 数据独立划分为多个互不重叠的随机区间（），并将落在各个区间内的原始输入映射到从该区间内随机采样的一个常数。

随机量化作为自监督学习任务中 masking 通道维度数据的能力取决于以下三个方面的设计：1）随机划分数值区间；2）随机采样输出值以及 3）划分的数值区间个数。

具体而言，随机的过程带来了更加丰富的样本，同一个数据每次执行随机量化操作都可以生成不同的数据样本。同时，随机的过程也带来对原始数据更大的增强力度，例如随机划分出大的数据区间，或者当映射点偏离区间中值点时，都可以导致落在该区间的原始输入和输出之间的更大差异。

通过适当减少划分区间的个数，可以很容易地提高增强力度。这样，当应用于Siamese表征学习时，两个网络分支就能够接收到具有足够信息差异的输入数据，从而构建强有力的学习信号，有助于特征学习

下图可视化了不同数据模态在使用了该数据增强方式之后的效果：

实验结果

重写内容为：模式1：图像

本文在 ImageNet-1K 数据集上评估了 randomized quantization 应用于 MoCo-v3 和 BYOL 的效果，评测指标为 linear evaluation。当作为唯一的数据增强方式单独使用的时候，即将本文的 augmentation 应用于原始图像的 center crop，以及和常见的 random resized crop（RRC）配合使用的时候，该方法都取得了比已有通用自监督学习方法更好的效果。

相比于已有的针对图像数据开发的数据增强方式，例如 color jittering （CJ），本文的方法有着明显的性能优势。同时，该方法也可以取代 MoCo-v3/BYOL 中一系列复杂的数据增强方式（Full），包括颜色抖动（color jittering）、随机灰度化（gray scale）、随机高斯模糊（Gaussian blur）、随机曝光（solarization），并达到与复杂数据增强方式类似的效果。