创新实训2024.04.11日志:self-instruct生成指令

2024-04-12 13:44

本文主要是介绍创新实训2024.04.11日志:self-instruct生成指令,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. 参考文献

  • 代码:https://github.com/yizhongw/self-instruct
  • 论文:https://arxiv.org/abs/2212.10560

2. 前沿论文阅读

2.1. self-instruct技术的优势

作者在文章中提到:

The recent NLP literature has witnessed a tremendous amount of activity in building models that can follow natural language instructions.These developments are powered by two key components: large pretrained language models (LM) and human-written instruction data.However, collecting such instruction data is costly and often suffers limited diversity given that most human generations tend to be popular NLP tasks, falling short of covering a true variety of tasks and different ways to describe them. Continuing to improve the quality and coverage of instruction-tuned models necessitates the development of alternative approaches for supervising the instruction tuning process.


简单来说,传统的NLP技术需要涉及两大不可或缺的步骤:大型的预训练好的大语言模型以及人工搜集的语料(指令数据)。而搜集这些语料非常费工费时。因此需要一个替代的方式来生成语料并监督这个过程。

换句话说,我们不用自己搜集成千上万条语料了,而是由上百条初始的语料生成一个大规模的语料库并用于训练。

2.2. Working Pipeline

截图来自于论文。

简单来说,我们把一个初始的种子指令库输入到任务池中,随后每次从任务池中挑选一定批量的指令作为询问大模型的输入,并将其分为两类:

  1. 第一类是分类问题,采用Output-first模式。也就是先打上一个分类的标签(Class Label),然后根据这个标签去生成问题。
  2. 第二类是非分类问题,采用Input-first模式。也就是先生成问题,然后再生成回答。

不过我们的语料库中,没有分类问题,因此统一采用了Input-first模式。

最后计算生成的指令与已有指令的相似度,如果过高,则应该舍弃这条新的指令。

3. 基于ChatGLM-4的self-instruct

智谱AI提供了国产开源大模型ChatGLM系列,我们打算基于这个系列的LM,为后续的训练生成需要的指令。

3.1. 智谱AI开发者注册

智谱AI开发平台:智谱AI开发平台

用一个没注册过的手机号就能注册进去。现在他们家搞活动,新用户注册还送token(请求ChatGLM回答的必要资源),500w个,在财务管理->资源包管理可以查看:

还有个比较重要的,是调用API时需要的key。可以在查看APIkey中看到:

如果需要调用智谱的API,可以查看文档:智谱AI开放平台 (bigmodel.cn)

3.2. 初始化Seed Instructions

self-instruct技术需要初始化一些种子指令并加入Task pool,用来迭代生成新的问题,这个技术可以大幅减少人工搜集语料的成本,但不代表一点人工搜集的过程都没有。一开始的初始语料还是需要我们自己搜集的。

在做前期准备工作的时候,团队就已经搜集了一批有关易学的问答对,根据step1:Instruction Generation,我们把这批问答对的问题作为instruction输入LM。

可能会疑惑的是,一个完整的task,包括了instruction,input和output。为什么这里可以直接用input替代instruction呢?关于这一点,这项技术的提出者在文章中写到:

Note that the instruction and instance input does not have a strict boundary in many cases. For example, “write an essay about school safety” can be a valid instruction that we expect models to respond to directly, while it can also be formulated as “write an essay about the following topic” as the instruction, and “school safety” as an instance input.


需要注意的是,指令和实例的输入(也即问题)在定义上很多时候并没有严格意义的边界。例如,”写一篇有关校园安全的短文“可以是一个合法的、我们期望LM直接回答的问题,但当他变成”写一篇有关下述主题的短文“,就成了一个指令,随后”校园安全“可以作为一个实例的输入(也即问题)。

 在无法严格区分instruction和input时,我们为了数据格式的多样性,可以直接拿input代替instruction。

作为初始种子指令的instruction如下(其实就是我上一篇日志中,通过易学百科全书提取出来的QA对):

这里不会把所有内容放出来,因为这是团队成员共同努力的成果,我没有理由把它随意共享到网络上。如果你有正当的理由查看这些语料文档,请通过合法渠道联系我。

3.3. 迭代生成新的指令

(1)连接智谱AI服务器

首先我们要连接上智谱AI的服务器:

    client = ZhipuAI(api_key="xxx")  # 填写你自己的APIKey

这里为了保护我自己的隐私,这个key我用xxx替换掉了,如果你想通过我的代码复现这个过程,请自己注册账号并填写key。

(2)打开种子指令与迭代指令文件

然后我们打开存储了种子指令的excel表格,以及迭代生成的指令的txt文件(一开始我们可以把种子指令直接放到这个txt文件中作为迭代生成的一部分)

        # 打开 Excel 文件workbook = load_workbook(origin_QA)# 获取工作表sheet = workbook.active# 遍历行和列input_list = []output_list = []for row in sheet.iter_rows(min_row=2, max_row=97, values_only=True):input_list.append(list(row)[0])output_list.append(list(row)[1])print(input_list)print(output_list)with open("./self_instruct/target/generation_instruction.txt", 'r', encoding="UTF-8") as file2:generation_instructions_list = file2.readlines()

(3)判断是否结束迭代

随后看一下迭代生成的指令是否达到5000条(5000条是用来训练大模型的语料数量的下限),如果没达到5000条,我们就开启本轮迭代更新,否则就退出程序:

        if len(generation_instructions_list) >= 5000:break

(4)挑选本轮迭代的语料

之后,根据step1:Instruction Generation,从种子指令中挑选5条,迭代生成的指令中挑选5条(可能会重复,但不用担心,最后我们会去重的)。原文中是28开,这里试了几个参数后,决定是55开比较好:

        # 随机从种子指令和生成指令中取5条seed_instructions = random.sample(input_list, 5)generation_instructions = random.sample(generation_instructions_list, 5)

(5)请求大模型

拿到这部分语料后,我们就可以向大模型提问了,让他基于这些指令,自己再生成一批指令。这里就要写一个需求明确、逻辑清晰的prompt来提示大模型:

        # 建立模版prompt = "你是一名精通周易的专家,下面是一些与周易相关的问题:\n"for index, instruction in enumerate(seed_instructions):prompt += f"{str(index + 1)}、问题:{instruction.strip()}\n"for index, instruction in enumerate(generation_instructions):prompt += f"{str(index + 6)}、问题:{instruction.strip()}\n"prompt += "请参考上面问题的内容和形式,对上述问题进行补充和拓展,再提出10个关于周易的比较深入的问题"print(prompt)

因为我们的语料是10条,所以这里问他也是问了10条。

之后就可以调用api,向chatGLM4提出请求了:

        # 向GLM4提问并返回答案response = client.chat.completions.create(model="glm-4",  # 填写需要调用的模型名称messages=[{"role": "user","content": prompt}],)

(6)正则表达式提取响应的instruction

得到响应后,从返回的message中提取出问题:

        # 提取问题questions = extract_questions(response.choices[0].message.content)for i, question in enumerate(questions, start=1):print(f"{question}")

这里chatGLM响应的问题的格式和我们提问的格式是一样的,都是一个索引+.+问题:+问题内容。所以就可以用正则表达式去匹配文本,提取问题内容。总结一下这个模式串的格式,应该为:

  • 以一串数字开始(可能后面有空白字符)。
  • 接着可能有一个中文顿号或英文句号(也可能没有),并可能后面有空白字符。
  • 然后是“问题”这个词,并可能后面有空白字符。
  • 接着可能有一个中文冒号或英文冒号(也可能没有),并可能后面有空白字符。
  • 最后是任意数量的任意字符,直到字符串的结束。

因此正则表达式串为:

^\d+\s*[、.]?\s*问题\s*[::]?\s*(.*)$

 逻辑为:

  1. ^\d+

    • ^:表示匹配字符串的开始。
    • \d+:匹配一个或多个数字(\d 是数字的简写,+ 表示一个或多个)。
  2. \s*

    • \s:匹配任何空白字符,包括空格、制表符、换页符等。
    • *:表示前面的字符(在这里是 \s)可以出现零次或多次。
  3. [、.]?

    • [、.]:匹配中文顿号(、)或英文句号(.)。
    • ?:表示前面的字符(在这里是 [、.])是可选的,即可以出现零次或一次。
  4. \s*:再次匹配零个或多个空白字符。

  5. 问题

    • 匹配字面字符串“问题”。
  6. \s*:再次匹配零个或多个空白字符。

  7. [::]?

    • [::]:匹配中文冒号(:)或英文冒号(:)。
    • ?:表示前面的字符(在这里是 [::])是可选的,即可以出现零次或一次。
  8. \s*:再次匹配零个或多个空白字符。

  9. (.*)$

    • .*:匹配任意数量的任意字符(. 表示任意字符,* 表示零个或多个)。
    • $:表示匹配字符串的结束。
    • 括号 () 用于捕获匹配的子字符串。
# 将模型的回答转换成问题的列表
def extract_questions(text):# 使用正则表达式匹配以数字、空格、英文句号和冒号开头的行pattern = r'^\d+\s*[、.]?\s*问题\s*[::]?\s*(.*)$'questions = []# 遍历文本的每一行for line in text.split('\n'):# 使用正则表达式进行匹配match = re.match(pattern, line)if match:question = match.group(1).strip()  # 提取匹配的问题,并去除两端的空格questions.append(question)return questions

(7)判断生成的指令是否与先前的指令重复

新生成的指令可能和早先已经生成的指令相似(甚至重复),我们要把这样的指令剔除掉。jieba分词器组件提供了计算语料相似程度的API:

# 计算bleu
def calculate_bleu(reference, hypothesis):reference_tokens = list(jieba.cut(reference))hypothesis_tokens = list(jieba.cut(hypothesis))smoothing_function = SmoothingFunction().method7score = sentence_bleu([reference_tokens], hypothesis_tokens, smoothing_function=smoothing_function)return score

对于短文本(比如这里的一个指令,采取BLEU分数来评估相似度比较合适;对于长文本,使用ROUGE_L分数比较合适)

  • jieba.cut 用于对中文文本进行分词。
  • SmoothingFunction().method7 提供了一种平滑方法,用于处理BLEU分数计算中可能出现的零分问题。
  • sentence_bleu 计算BLEU分数,它接受一个参考句子的分词列表(在这里是一个列表的列表,因为我们只有一个参考句子),一个假设句子的分词列表,以及一个平滑函数。

如果相似度在0.7以下,我们认为可以作为新的指令纳入Task Pool:

        # 指令存储到文件for question in questions:max_rouge = 0for generation_instruction in generation_instructions_list:bleu = calculate_bleu(question, generation_instruction)if bleu > max_rouge:max_rouge = bleuif max_rouge < 0.7:print(f"录入:{question}")file.write(question + '\n')

3.4. 运行过程

4. 开源与复现

https://github.com/Liyanhao1209/ZhouYiLLM.git

python_scripts分支。 

这篇关于创新实训2024.04.11日志:self-instruct生成指令的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/897299

相关文章

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

poj 1258 Agri-Net(最小生成树模板代码)

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码:效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n

poj 1287 Networking(prim or kruscal最小生成树)

题意给你点与点间距离,求最小生成树。 注意点是,两点之间可能有不同的路,输入的时候选择最小的,和之前有道最短路WA的题目类似。 prim代码: #include<stdio.h>const int MaxN = 51;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int P;int prim(){bool vis[MaxN];

poj 2349 Arctic Network uva 10369(prim or kruscal最小生成树)

题目很麻烦,因为不熟悉最小生成树的算法调试了好久。 感觉网上的题目解释都没说得很清楚,不适合新手。自己写一个。 题意:给你点的坐标,然后两点间可以有两种方式来通信:第一种是卫星通信,第二种是无线电通信。 卫星通信:任何两个有卫星频道的点间都可以直接建立连接,与点间的距离无关; 无线电通信:两个点之间的距离不能超过D,无线电收发器的功率越大,D越大,越昂贵。 计算无线电收发器D

hdu 1102 uva 10397(最小生成树prim)

hdu 1102: 题意: 给一个邻接矩阵,给一些村庄间已经修的路,问最小生成树。 解析: 把已经修的路的权值改为0,套个prim()。 注意prim 最外层循坏为n-1。 代码: #include <iostream>#include <cstdio>#include <cstdlib>#include <algorithm>#include <cstri

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

poj 3723 kruscal,反边取最大生成树。

题意: 需要征募女兵N人,男兵M人。 每征募一个人需要花费10000美元,但是如果已经招募的人中有一些关系亲密的人,那么可以少花一些钱。 给出若干的男女之间的1~9999之间的亲密关系度,征募某个人的费用是10000 - (已经征募的人中和自己的亲密度的最大值)。 要求通过适当的招募顺序使得征募所有人的费用最小。 解析: 先设想无向图,在征募某个人a时,如果使用了a和b之间的关系

flume系列之:查看flume系统日志、查看统计flume日志类型、查看flume日志

遍历指定目录下多个文件查找指定内容 服务器系统日志会记录flume相关日志 cat /var/log/messages |grep -i oom 查找系统日志中关于flume的指定日志 import osdef search_string_in_files(directory, search_string):count = 0