在深度学习中减少标签需求2~5x，来自Deep Mind的CPC2.0

本文主要是介绍在深度学习中减少标签需求2~5x，来自Deep Mind的CPC2.0，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”

作者：Less Wright

编译：ronghuaiyang

导读

通过得到更好的表征来减少对标签的需求。

CPC 2.0的实践 —— 只有1%的标记数据，达到74%的准确性(来自论文)

目前针对视觉、音频等的深度学习需要大量的人工标注数据，每个类别都有很多样本，这样才能训练一个分类器达到可接受的精度。

相比之下，人类只需要看到一个类别的几个例子，就可以开始正确和准确地识别和分类这个类的未来样本。

不同之处在于，人类能够快速准确地生成事物的心理“表征”，然后利用这些表征灵活地解释未来的变化。例如，在看了一些蓝鸦的图片后，我们可以对蓝鸦做一个心理模型或表示，然后在新的图片中发现并准确识别蓝鸦，即使是面对不同的角度、不同的角度等。深度学习努力以同样的方式构建表示，因此需要训练大量、大量被标记的样本(图像被“增强”以显示不同的角度和视角)，以可靠地处理未来数据并成功的泛化。

然而，由于Deep Mind早期突破性的“CPC”(即Contrastive Predictive Coding)的新改进，导致对大量标记数据的需求，在表示能力方面的差距现在可能正在迅速缩小。

这个工作，CPC 2.0，在一篇名为“Data Efficient Image Recognition with Contrastive Predictive Coding”的新论文中被提出。

利用CPC 2.0，图像分类和识别神经网络能够在仅对少量数据进行训练后更好地构建允许强泛化的表示，越来越接近人类的表现能力。

Performance结果：一些比较揭示了重要性 —— 用CPC 2训练的图像分类器和只用了1%的ImageNet数据达到了78%的top5的准确率，优于在多5倍的数据上监督训练。

继续对所有可用图像进行训练(100%)，CPC2 ResNet的表现优于全监督的系统，在全数据集上进行了训练，提高了3.2%(最高精度)。请注意，只用一半的数据集(50%)，CPC ResNet的准确性与全监督的NN训练的数据的100%匹配。

最后，为了展示CPC表示的普遍性——通过使用CPC2 ResNet和使用转移学习进行对象检测(PASCAL-VOC 2007数据集)，它实现了76.6%的新性能，超过了之前的记录2%。

CPC为什么能工作？根据作者的假设，这里的核心概念是CPC可能允许更好的空间表征，从而使人工系统更接近生物表征，帮助缩小两者之间的差距。

这与他们指出的一项一般原则有关：

深度学习的新原则 —— “良好的表征”应该使自然信号的时空变化更可预测。(引自论文)

CPC如何工作？

CPC2概述(来自论文)

简化后，CPC2的工作步骤如下：

1、将图像分割成重叠的方块，或“patches”。

2 、通过特征提取器运行每个patch(上图中的蓝色堆栈)，最终得到平均池化层，从而得到最终的表示向量(上图中的细条)。

3、基于局部(上图中的红色块)和分割阈值(即top vs bottom)，将局部特征向量分组，构造masked ConvNets。在上面的这个例子中，构造中心点的上下文网络。

4 、使用上下文网络(掩蔽卷积神经网络)对特征向量的分界线预测/识别特征向量。在这种情况下，从其他图像的特征向量的负样本中预测哪些特征向量在中心下方(见红色块上向下的箭头)。

特征向量预测的质量是通过对比损失来衡量的，因此得名对比预测编码。

全损失函数称为InfoNCE，是由噪声对比估计引起的。NCE可以最大化给定上下文向量和目标特征向量之间的互信息量。

InfoNCE损失函数(来自论文)。

5、去掉masked ConvNet，用标准线性分类器代替，用标注数据开始训练/评估。

通过这样做，神经网络被迫建立更好的表示，从而减少对更多标记数据的需求，并能够更好地泛化。

从CPC到CPC 2.0：

改进包括层归一化，随机的颜色丢弃，额外的Patch增强

CPC v1论文：Representation Learning with Contrastive Predictive Coding

在此基础上，作者通过叠加一系列的改进来构建 CPC v2，从而使最终精度大幅提高，如上所示。详细信息在文章中，但我将强调上面两个最大的提升。

数据增强 —— 作者发现，通过减少图像上3个颜色通道中的2个，可以起到很好的增强作用(+3%)。然后，他们通过增加剪切、旋转、颜色变换等进一步提高了性能，又增加了4.5%的收益。

通过从ResNet-101迁移到ResNet -161(定制)，增加了5%的提升。此外，通过整合更大的patch，他们能够将结果再提高2%。

通过对四个方向(上/下，左/右)的预测和对方向子集的预测来提高准确性。

其他的变化是让预测在各个方向运行，这又增加了4.5%(见上图)。

结论：CPC 2.0为“无监督学习”设定了一个新的基准，并展示了一种新的方法来帮助NN构建更好的表征，从而以一种更接近人类/生物方法的方式学习。这里的关键概念是，减少时空变化的表示法通常是AI未来的发展方向，因为这将减少学习所需的数据。作者指出，CPC是任务不确定的 —— 而本文关注的视觉、语言、音频等都是CPC训练的可选类型，并且可能对使用多模态输入但数据稀缺的机器人特别有用。