AI 大佬 Andrej Karpathy 推荐:LLM 性能提升的秘密 —— FineWeb 数据集

2024-06-05 01:44

本文主要是介绍AI 大佬 Andrej Karpathy 推荐:LLM 性能提升的秘密 —— FineWeb 数据集,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 1. FineWeb 是什么?
    • 2. 如何创建高质量网络数据集?
      • 2.1 如何获得用于训练 LLM 的网络数据?
      • 2.2 如何评估数据集的质量?
      • 2.3 如何进行 FineWeb 的数据处理?

最近,AI 大牛 Andrej Karpathy 推荐了一项名为 FineWeb-Edu 的工作。

在这里插入图片描述

对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说,构建高质量的网络规模数据集是非常重要的。然而,即使是最先进的开源 LLM 的预训练数据集也不公开,人们对其创建过程知之甚少。

为此,FineWeb 团队就深入探讨了如何创建一个用于 LLM 预训练的大型高质量网络规模数据集,并讨论了大规模数据质量的处理和评估、FineWeb 配方(列出并解释了所有的设计选择)以及创建 FineWeb-Edu 子集的过程。

1. FineWeb 是什么?

FineWeb 是一个庞大的预训练数据集,包含 15 万亿token,占据 44TB 的磁盘空间,源自 96 个 CommonCrawl 快照。FineWeb 比其他开放式数据集带来了更出色的 LLM 性能。为了确保高质量,团队详细记录了 FineWeb 的设计选择,并深入研究了去重和筛选策略。

在这里插入图片描述

数据集获取地址:https://huggingface.co/datasets/HuggingFaceFW/fineweb

在上述数据集的基础上,团队推出了 FineWeb-Edu,这是 FineWeb 的一个子集,专注于教育内容,表现优于所有公开可访问的网络数据集。FineWeb-Edu 提供两种大小/过滤级别:1.3 万亿和 5.4 万亿 token,均使用 GPT2 分词器进行测量。

在这里插入图片描述

数据集获取地址:https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu

这两个数据集均根据许可的 ODC-By 1.0 协议发布。

2. 如何创建高质量网络数据集?

2.1 如何获得用于训练 LLM 的网络数据?

为了构建 FineWeb,团队沿用了一些 LLM 训练团队过去的做法,比如将 CommonCrawl(CC)作为起点。Common Crawl 非营利组织自 2007 年以来一直在抓取网页,通常每 1 到 2 个月发布一次新的抓取,包含 200 到 400 TiB 通过自动网络抓取获得的文本内容。

2.2 如何评估数据集的质量?

常用的方法是在数据集的代表性子集上训练小型模型,并在一组评估任务上对其进行评估。在这个方法中,重要的是要选择一组多样化且具有代表性的数据集 - 评估任务,尽量不要过度拟合任何一个单独的基准,因为这有可能损害预训练后获得的 LLM 的通用性。

在这项工作中,团队采用了训练小模型并在一组「early-signal」基准任务上对其进行评估的方法。考虑到上述关于评估基准过度拟合的注意事项,这可以合理地代表用于训练这些模型的数据的质量。

最终,团队选择了以下几个基准:CommonSense QA、HellaSwag、OpenBook QA、PIQA、SIQA、WinoGrande、ARC、MMLU

2.3 如何进行 FineWeb 的数据处理?

FineWeb 数据集主要按顺序经历如下步骤:

  1. 基础过滤
  2. 每个转储独立的 MinHash 重复数据删除
  3. 精选 C4 过滤器
  4. 自定义过滤器

在这里插入图片描述

FineWeb-Edu 子集基于最近出现的一种过滤 LLM 训练数据集的新方法:使用合成数据来开发识别教育内容的分类器。这项技术在 Llama 3 和 Phi3 的训练中得到了显著应用,但它对网络数据过滤的大规模影响迄今为止尚未得到充分的公开发掘。

团队为了进一步提高 FineWeb 的质量,利用 Llama-3-70B-Instruct 生成的注释开发了一个教育质量分类器,创建了 FineWeb-Edu。

最后实验证明,FineWeb-Edu 超越了 FineWeb 和所有其他开放网络数据集,在教育基准(如 MMLU、ARC 和 OpenBookQA)方面取得了显著改进。与 C4 和 Dolma 相比,FineWeb-Edu 需要的 token 数量减少了 10 倍,才能与 MMLU 的结果相媲美。

在这里插入图片描述
在这里插入图片描述

欢迎各位关注我的个人微信公众号:HsuDan,我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。

这篇关于AI 大佬 Andrej Karpathy 推荐:LLM 性能提升的秘密 —— FineWeb 数据集的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1031725

相关文章

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个