AI 大佬 Andrej Karpathy 推荐:LLM 性能提升的秘密 —— FineWeb 数据集

2024-06-05 01:44

本文主要是介绍AI 大佬 Andrej Karpathy 推荐:LLM 性能提升的秘密 —— FineWeb 数据集,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 1. FineWeb 是什么?
    • 2. 如何创建高质量网络数据集?
      • 2.1 如何获得用于训练 LLM 的网络数据?
      • 2.2 如何评估数据集的质量?
      • 2.3 如何进行 FineWeb 的数据处理?

最近,AI 大牛 Andrej Karpathy 推荐了一项名为 FineWeb-Edu 的工作。

在这里插入图片描述

对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说,构建高质量的网络规模数据集是非常重要的。然而,即使是最先进的开源 LLM 的预训练数据集也不公开,人们对其创建过程知之甚少。

为此,FineWeb 团队就深入探讨了如何创建一个用于 LLM 预训练的大型高质量网络规模数据集,并讨论了大规模数据质量的处理和评估、FineWeb 配方(列出并解释了所有的设计选择)以及创建 FineWeb-Edu 子集的过程。

1. FineWeb 是什么?

FineWeb 是一个庞大的预训练数据集,包含 15 万亿token,占据 44TB 的磁盘空间,源自 96 个 CommonCrawl 快照。FineWeb 比其他开放式数据集带来了更出色的 LLM 性能。为了确保高质量,团队详细记录了 FineWeb 的设计选择,并深入研究了去重和筛选策略。

在这里插入图片描述

数据集获取地址:https://huggingface.co/datasets/HuggingFaceFW/fineweb

在上述数据集的基础上,团队推出了 FineWeb-Edu,这是 FineWeb 的一个子集,专注于教育内容,表现优于所有公开可访问的网络数据集。FineWeb-Edu 提供两种大小/过滤级别:1.3 万亿和 5.4 万亿 token,均使用 GPT2 分词器进行测量。

在这里插入图片描述

数据集获取地址:https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu

这两个数据集均根据许可的 ODC-By 1.0 协议发布。

2. 如何创建高质量网络数据集?

2.1 如何获得用于训练 LLM 的网络数据?

为了构建 FineWeb,团队沿用了一些 LLM 训练团队过去的做法,比如将 CommonCrawl(CC)作为起点。Common Crawl 非营利组织自 2007 年以来一直在抓取网页,通常每 1 到 2 个月发布一次新的抓取,包含 200 到 400 TiB 通过自动网络抓取获得的文本内容。

2.2 如何评估数据集的质量?

常用的方法是在数据集的代表性子集上训练小型模型,并在一组评估任务上对其进行评估。在这个方法中,重要的是要选择一组多样化且具有代表性的数据集 - 评估任务,尽量不要过度拟合任何一个单独的基准,因为这有可能损害预训练后获得的 LLM 的通用性。

在这项工作中,团队采用了训练小模型并在一组「early-signal」基准任务上对其进行评估的方法。考虑到上述关于评估基准过度拟合的注意事项,这可以合理地代表用于训练这些模型的数据的质量。

最终,团队选择了以下几个基准:CommonSense QA、HellaSwag、OpenBook QA、PIQA、SIQA、WinoGrande、ARC、MMLU

2.3 如何进行 FineWeb 的数据处理?

FineWeb 数据集主要按顺序经历如下步骤:

  1. 基础过滤
  2. 每个转储独立的 MinHash 重复数据删除
  3. 精选 C4 过滤器
  4. 自定义过滤器

在这里插入图片描述

FineWeb-Edu 子集基于最近出现的一种过滤 LLM 训练数据集的新方法:使用合成数据来开发识别教育内容的分类器。这项技术在 Llama 3 和 Phi3 的训练中得到了显著应用,但它对网络数据过滤的大规模影响迄今为止尚未得到充分的公开发掘。

团队为了进一步提高 FineWeb 的质量,利用 Llama-3-70B-Instruct 生成的注释开发了一个教育质量分类器,创建了 FineWeb-Edu。

最后实验证明,FineWeb-Edu 超越了 FineWeb 和所有其他开放网络数据集,在教育基准(如 MMLU、ARC 和 OpenBookQA)方面取得了显著改进。与 C4 和 Dolma 相比,FineWeb-Edu 需要的 token 数量减少了 10 倍,才能与 MMLU 的结果相媲美。

在这里插入图片描述
在这里插入图片描述

欢迎各位关注我的个人微信公众号:HsuDan,我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。

这篇关于AI 大佬 Andrej Karpathy 推荐:LLM 性能提升的秘密 —— FineWeb 数据集的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1031725

相关文章

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

SpringValidation数据校验之约束注解与分组校验方式

《SpringValidation数据校验之约束注解与分组校验方式》本文将深入探讨SpringValidation的核心功能,帮助开发者掌握约束注解的使用技巧和分组校验的高级应用,从而构建更加健壮和可... 目录引言一、Spring Validation基础架构1.1 jsR-380标准与Spring整合1

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

SpringBatch数据写入实现

《SpringBatch数据写入实现》SpringBatch通过ItemWriter接口及其丰富的实现,提供了强大的数据写入能力,本文主要介绍了SpringBatch数据写入实现,具有一定的参考价值,... 目录python引言一、ItemWriter核心概念二、数据库写入实现三、文件写入实现四、多目标写入

使用Python将JSON,XML和YAML数据写入Excel文件

《使用Python将JSON,XML和YAML数据写入Excel文件》JSON、XML和YAML作为主流结构化数据格式,因其层次化表达能力和跨平台兼容性,已成为系统间数据交换的通用载体,本文将介绍如何... 目录如何使用python写入数据到Excel工作表用Python导入jsON数据到Excel工作表用

Mysql如何将数据按照年月分组的统计

《Mysql如何将数据按照年月分组的统计》:本文主要介绍Mysql如何将数据按照年月分组的统计方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql将数据按照年月分组的统计要的效果方案总结Mysql将数据按照年月分组的统计要的效果方案① 使用 DA

mysql的基础语句和外键查询及其语句详解(推荐)

《mysql的基础语句和外键查询及其语句详解(推荐)》:本文主要介绍mysql的基础语句和外键查询及其语句详解(推荐),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋... 目录一、mysql 基础语句1. 数据库操作 创建数据库2. 表操作 创建表3. CRUD 操作二、外键

鸿蒙中Axios数据请求的封装和配置方法

《鸿蒙中Axios数据请求的封装和配置方法》:本文主要介绍鸿蒙中Axios数据请求的封装和配置方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.配置权限 应用级权限和系统级权限2.配置网络请求的代码3.下载在Entry中 下载AxIOS4.封装Htt