Reproducible scaling laws for contrastive language-image learning

2024-06-05 03:52
文章标签 image language learning contrastive scaling laws reproducible

本文主要是介绍Reproducible scaling laws for contrastive language-image learning，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

这篇scaling laws横轴是GMAC per sample x samples seen，“GMAC” 是"Giga Multiply-Accumulate" 的缩写，这是计算机部件/系统所能执行的运算量的一种度量方式。一次 “multiply-accumulate” (乘累加) 操作包括一个乘法和一个累加操作。“Giga” 是表示10^9，也就是十亿的前缀。所以，一Giga MAC (GMAC) 可以表示一部分硬件在一秒内可以执行十亿次乘累加操作。

GMAC可以由thop包中的profile来统计

from thop import profile
input = torch.randn(1, 3, 224, 224)  # 这只是一个例子，你可能需要根据你模型的输入尺寸来更改# 下面这行假设 model 是加载有所需参数的模型
macs, params = profile(model, inputs=(input, ))gmacs = macs / (10**9)  # 转换为Giga MACs
gmacs_per_sample = gmacs / input.size(0)  # 计算每个样本的 Giga MACs

整个论文中的scaling law是通过from scratch来验证的，Open CLIP有weights但是没有数据，OpenCLIP有数据，同时论文中用了LAION 5B的数据
在这里插入图片描述

这篇关于Reproducible scaling laws for contrastive language-image learning的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1031998。

相关文章

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染：一项综述 文章目录 大规模语言模型的基准数据污染：一项综述摘要1 引言 摘要 大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快
阅读更多...
论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的，这引发了人们的担忧和猜测，即它们可能已
阅读更多...
lvgl8.3.6 控件垂直布局 label控件在image控件的下方显示

lvgl8.3.6 控件垂直布局 label控件在image控件的下方显示

在使用 LVGL 8.3.6 创建一个垂直布局，其中 label 控件位于 image 控件下方，你可以使用 lv_obj_set_flex_flow 来设置布局为垂直，并确保 label 控件在 image 控件后添加。这里是如何步骤性地实现它的一个基本示例： 创建父容器：首先创建一个容器对象，该对象将作为布局的基础。设置容器为垂直布局：使用 lv_obj_set_flex_flow 设置容器
阅读更多...
UML- 统一建模语言（Unified Modeling Language）创建项目的序列图及类图

UML- 统一建模语言（Unified Modeling Language）创建项目的序列图及类图

陈科肇 ============= 1.主要模型 在UML系统开发中有三个主要的模型： 功能模型：从用户的角度展示系统的功能，包括用例图。 对象模型：采用对象、属性、操作、关联等概念展示系统的结构和基础，包括类图、对象图、包图。 动态模型：展现系统的内部行为。 包括序列图、活动图、状态图。 因为要创建个人空间项目并不是一个很大的项目，我这里只须关注两种图的创建就可以了，而在开始创建UML图
阅读更多...
速通GPT-3：Language Models are Few-Shot Learners全文解读

速通GPT-3：Language Models are Few-Shot Learners全文解读

文章目录 论文实验总览1. 任务设置与测试策略2. 任务类别3. 关键实验结果4. 数据污染与实验局限性5. 总结与贡献 Abstract1. 概括2. 具体分析3. 摘要全文翻译4. 为什么不需要梯度更新或微调⭐ Introduction1. 概括2. 具体分析3. 进一步分析 Approach1. 概括2. 具体分析3. 进一步分析 Results1. 概括2. 具体分析2.1 语言模型
阅读更多...
简单的Q-learning|小明的一维世界(3)

简单的Q-learning|小明的一维世界(3)

简单的Q-learning|小明的一维世界(1) 简单的Q-learning|小明的一维世界(2) 一维的加速度世界 这个世界，小明只能控制自己的加速度，并且只能对加速度进行如下三种操作：增加1、减少1、或者不变。所以行动空间为： { u 1 = − 1 , u 2 = 0 , u 3 = 1 } \{u_1=-1, u_2=0, u_3=1\} {u1​=−1,u2​=0,u3​=1}
阅读更多...
简单的Q-learning|小明的一维世界(2)

简单的Q-learning|小明的一维世界(2)

上篇介绍了小明的一维世界模型 、Q-learning的状态空间、行动空间、奖励函数、Q-table、Q table更新公式、以及从Q值导出策略的公式等。最后给出最简单的一维位置世界的Q-learning例子，从给出其状态空间、行动空间、以及稠密与稀疏两种奖励函数的设置方式。下面将继续深入，GO！ 一维的速度世界 这个世界，小明只能控制自己的速度，并且只能对速度进行如下三种操作：增加1、减
阅读更多...
[论文笔记]Making Large Language Models A Better Foundation For Dense Retrieval

[论文笔记]Making Large Language Models A Better Foundation For Dense Retrieval

引言 今天带来北京智源研究院(BAAI)团队带来的一篇关于如何微调LLM变成密集检索器的论文笔记——Making Large Language Models A Better Foundation For Dense Retrieval。 为了简单，下文中以翻译的口吻记录，比如替换"作者"为"我们"。 密集检索需要学习具有区分性的文本嵌入，以表示查询和文档之间的语义关系。考虑到大语言模
阅读更多...
IMAGE LIST

IMAGE LIST

   CImageList就是一个容器，用来存储图片资源，方便这些资源被CListBox，CComboBox，CComboBoxEx，CTabCtrl以及CTreeCtrl,CListCtrl等使用。      要使用CImgeList首先要使用它的create函数:      一般用的比较多的是这一个函数,当然，它还有很多重载，自己可以去翻阅msdn.       BOOL
阅读更多...
【vscode】vscode paste image插件设置

【vscode】vscode paste image插件设置

本文首发于 ❄️慕雪的寒舍 vscode编辑md文件的时候，如果想插入图片，自带的粘贴只会粘贴到当前目录下，也没有文件重命名，很不友好。 在扩展商店里面有mushan的Paste Image插件，相比自带的，更加友好一点。但是它的配置把我弄糊涂了，简单测试了一下才明白处理的逻辑。 注意，本文编写的是对mushan的Paste Image插件的教程。 首先是安装这个插件，这个不多说
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2