摘要        计算机视觉中，常采用基于不变性和基于生成的方法进行自监督学习。对比学习（CL）是典型的基于不变性的方法，通过预训练方法优化编码器，使其能生成同一图像的两个或多个视图的相似嵌入，其中图像视图通常由一组手工设计的数据增强来构建，如随机缩放、裁剪和颜色抖动等。尽管基于不变性的预训练方法可以生成高语义级别的表示，但其特定于手工设计的数据增强方法会引入特定偏差，以至于对具有不同数据分布

就在Sora疯狂刷屏那天，还有两款重磅产品发布：一个是谷歌的Gemini 1.5，首个支持100万tokens上下文的大模型；另外一个便是全球科技、社交巨头Meta的V-JEPA。 有趣的是，在功能方面V-JEPA与Sora有很多相似之处，例如，都具备让AI学会如何通过自我监督学习认识、模拟世界，以提升生成视频的质量、表示学习方法和扩大视频训练数据范围。 可惜那天全世界的目光都聚焦在Sora身