[CVPR 2018] Unsupervised Feature Learning via Non-Parametric Instance Discrimination

1. 动机

研究者认为，标签监督的网络对目标的预测并不是根据语义相似性而是视觉相似性。以猎豹图片为例，网络输出的几个最高响应类都是视觉相关的，例如美洲豹和猎豹。数据本身的表面相似性而非语义标签，使得某些类比其他类更加接近。 研究者将类监督发展到极端的实例监督，并学习了辨别各个单独实例的特征表示。

特征学习针对什么任务？

在分类任务上验证算法的思想。

为什么选择实例监督？

观察发现，监督学习得到的特征表示的判别力来自视觉性而不是语义性。将视觉性的区分性发挥到极致，忽略语义性，得到的特征可能更有判别力。

什么是非参数化训练?

什么是实例级判别？

一个实例视为一个类。在监督学习种，一个类对应多个实例。一对一的关系，使得每个实例对应一个标签。

怎么实现实例级判别？

2. 思考

观察现有小样本学习模型的分类结果在视觉性和语义性上的特点。

3. 重要链接

1. 论文地址
2. 官方代码
3. 论文博客
4. 机器之心：非参数化方法实现的极端无监督特征学习
5. 噪音对比估计(NCE)
6. 二项分布的对数似然函数与交叉熵（cross entropy）损失函数的联系