MoDS: Model-oriented Data Selection for Instruction Tuning

2023-12-16 01:52

本文主要是介绍MoDS: Model-oriented Data Selection for Instruction Tuning,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文主要用于记录学习的过程,如有理解错误的请指正。

该论文主要通过模型驱动,实现自动筛选高质量的Instruction tuning数据选取,实现大模型的能够和人类的意图进行对齐。

摘要:

一些论文证明Instruction tuning证明只需要很少的数据集就可以实现与人类意图对齐,并且大模型LLM并不能从Instruction tuning中学到东西,仅仅是生成一些可靠的格式。该论文提出通过模型,自动化选取一些少量并且高质量的数据。论文中认为从三个方面,Instruction tuning数据质量、多样性,以及必要性三个方面进行Instruction tuning数据的选取。

  • 对于数据质量:质量要求所选的指令数据对问题和答案都足够好。
  • 对于数据多样性:覆盖范围要求所选指令数据足够多样化。
  • 对于数据的必要性:必要性表明所选的指令数据确实填补了感兴趣的LLM的能力空白。

正文:

对于模型的设计,数据选择模型的设计从数据质量、多样性、必要性三个方面进行设计,模型结构图如下:
Refused

  • 数据质量:
    在这里插入图片描述
    数据质量则是利用huggingface已经训练的一个模型,reward-model-deberta v3-large去给Instruction tunning 数据进行打分,将数据中的(instruction, input, output)进行拼接在一起,作为打分模型的输入,设置一个阈值 α \alpha α。超过这个阈值 α \alpha α则认为是高质量的数据,否则亦然。
  • 数据多样性:
    对于数据多样性,则是体现大模型,回答是否更加多样性。采用K-Center-Greedy,进行实现。
    通过bert(或者其他向量模型)将文本转成向量,我理解就是实现一个K个中心点的算法,简单理解实现多个簇(肯能叙述不严谨),实现算法如下:
    在这里插入图片描述

必要性

必要性,主要是因为模型学习的内容和学习的程度不同,因此需要针对不同的模型去评估模型已经学习了哪些内容,在上述两个操作之后的结果A。对A进行补充额外的数据B。模型图如下所示:
在这里插入图片描述

如何获取数据B呢,首先我把A作为基础的数据集对LLM进行微调,然后评估微调的指令生成回答同样采用reward-model-deberta v3-large模型设置阈值 β \beta β, 如果小于 β \beta β,则通过K-Center-Greedy选择一个子集。就可以获得A的扩增数据B。

实验结果

在这里插入图片描述
消融实验:数据多样性次啊用K-center Greedy和随机采样进行对比
在这里插入图片描述

这篇关于MoDS: Model-oriented Data Selection for Instruction Tuning的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/498680

相关文章

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

CentOS下mysql数据库data目录迁移

https://my.oschina.net/u/873762/blog/180388        公司新上线一个资讯网站,独立主机,raid5,lamp架构。由于资讯网是面向小行业,初步估计一两年内访问量压力不大,故,在做服务器系统搭建的时候,只是简单分出一个独立的data区作为数据库和网站程序的专区,其他按照linux的默认分区。apache,mysql,php均使用yum安装(也尝试

MVC(Model-View-Controller)和MVVM(Model-View-ViewModel)

1、MVC MVC(Model-View-Controller) 是一种常用的架构模式,用于分离应用程序的逻辑、数据和展示。它通过三个核心组件(模型、视图和控制器)将应用程序的业务逻辑与用户界面隔离,促进代码的可维护性、可扩展性和模块化。在 MVC 模式中,各组件可以与多种设计模式结合使用,以增强灵活性和可维护性。以下是 MVC 各组件与常见设计模式的关系和作用: 1. Model(模型)

使用Spring Boot集成Spring Data JPA和单例模式构建库存管理系统

引言 在企业级应用开发中,数据库操作是非常重要的一环。Spring Data JPA提供了一种简化的方式来进行数据库交互,它使得开发者无需编写复杂的JPA代码就可以完成常见的CRUD操作。此外,设计模式如单例模式可以帮助我们更好地管理和控制对象的创建过程,从而提高系统的性能和可维护性。本文将展示如何结合Spring Boot、Spring Data JPA以及单例模式来构建一个基本的库存管理系统

15 组件的切换和对组件的data的使用

划重点 a 标签的使用事件修饰符组件的定义组件的切换:登录 / 注册 泡椒鱼头 :微辣 <!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><meta http-equiv="X-UA-

12C 新特性,MOVE DATAFILE 在线移动 包括system, 附带改名 NID ,cdb_data_files视图坏了

ALTER DATABASE MOVE DATAFILE  可以改名 可以move file,全部一个命令。 resue 可以重用,keep好像不生效!!! system照移动不误-------- SQL> select file_name, status, online_status from dba_data_files where tablespace_name='SYSTEM'

SIGMOD-24概览Part7: Industry Session (Graph Data Management)

👇BG3: A Cost Effective and I/O Efficient Graph Database in ByteDance 🏛机构:字节 ➡️领域: Information systems → Data management systemsStorage management 📚摘要:介绍了字节新提出的ByteGraph 3.0(BG3)模型,用来处理大规模图结构数据 背景

java.sql.SQLException: No data found

Java代码如下: package com.accord.utils;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.ResultSetMetaData;import

FORM的ENCTYPE=multipart/form-data 时request.getParameter()值为null问题的解决

此情况发生于前台表单传送至后台java servlet处理: 问题:当Form需要FileUpload上传文件同时上传表单其他控件数据时,由于设置了ENCTYPE=”multipart/form-data” 属性,后台request.getParameter()获取的值为null 上传文件的参考代码:http://www.runoob.com/jsp/jsp-file-uploading.ht

Oracle Data Guard:Oracle数据库的高可用性和灾难恢复解决方案

在企业级数据库管理中,确保数据的高可用性和在灾难情况下的快速恢复是至关重要的。Oracle Data Guard是Oracle公司提供的一种强大的数据库高可用性解决方案,它通过在主数据库和至少一个备用数据库之间提供实时或近实时的数据保护来实现这一目标。本文将详细介绍如何在Oracle数据库中部署和使用Oracle Data Guard,包括其基本概念、配置步骤、管理技巧和实际应用示例。 1. O