本文主要是介绍VLM 系列——CLIP——论文解读，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一、概述
1、是什么
论文全称《Learning Transferable Visual Models From Natural Language Supervision》，是使用图文对（将图像表征与语言联系起来）使用对比学习（有的文章称为自监督，有的文章称为无监督）训练的多模态模型。从互联网上大量文本的监督（自然语言监督）中学习，要比传统的分类数据要大得多。
可以用来图片zero-shot 分类（其实就是图-文检索，但是不同于以往的ImageNet预测一组固定的预定对象类别），文-图检索，图-图检索（文章没有提及，也没有测试）；还有后面的整个AIGC 都有他的影子，比如Stable diffusion 的图像编码器、BLIP系列的图像编码都是使用的CLIP系列的预训练权重。
2、亮点
*模型：作者提到整个模型的机构等都是有相似物的（VirTex），而batch 内将文本对的度量学习转化为分类是首次。
*数据：使用互联网数据构建了一个400M的图文数据集，进行模型训练，但是没有开源。
*结果：通过对30多个不同的现有计算机视觉数据集（集涵盖了OCR、视频中的动作识别、地理定位和许多类型的细粒度对象分类等任务）测试，zero-shot 通常与完全监督的基线相当，在ImageNet匹配原始ResNet-50的精度。
这篇关于VLM 系列——CLIP——论文解读的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
