infonce专题

两种对比学习损失:contrastive loss 和 infoNCE loss

对比损失(contrastive loss)和信息最大化非条件估计损失(infoNCE loss)是两种常用于对比学习的损失函数。 不同点: 对比损失是通过将同类样本靠近、异类样本远离的方式进行训练,而infoNCE损失则是通过最大化正样本的概率和最小化负样本的概率来进行训练。对比损失通常使用欧氏距离或余弦距离作为相似性度量,而infoNCE损失则使用信息论中的互信息来度量样本之间的相关性。在

自监督、对比学习、contrastive learning、互信息、infoNCE等

===== 更新时间:21.2.7 祝大家节日快乐 ============ 73岁Hinton老爷子构思下一代神经网络:属于无监督对比学习 无监督学习主要有两类方法(所以在label少的时候,unsupervised learning可以帮助我们学到data本身的high-level information,这些information能够对 downstream task有很大的帮助。)