本文主要是介绍LLAMA-Factory微调chatglm3-6b出现KeyError: ‘instruction‘错误，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
之前我也遇到过这样的错误就是在LLAMA-Factory微调chatglm3-6b时报错KeyError: ‘instruction‘。那时候是因为数据现存在少部分格式不同，这才导致KeyError: 'instruction'错误。
但是候来又遇到了KeyError: ‘instruction‘，但这次没有格式不同的问题。
究其原因，LLAMA-Factory只能接受特定格式的数据集
{"instruction": "描述面向对象编程（OOP）的原则。","input": "OOP 原则包括封装、继承、多态和抽象，促进了有组织和可维护的代码。","output": "输出评价：你对面向对象编程的原则有很好的理解。在你的开发经验中，这些原则是如何指导你编写代码的？"}其中，instruction这些叫什么不重要，重要的是要在LLAMA-Factory的data文件夹下的dataset_info.json中注册这个数据集，同时要描述映射关系（这里是关键，llama-factory实际使用的是prompt，query这些键，你要描述instruction对应的是promot（即提示），还是query（问题）还是response（回答））
"self_cognition": {"file_name": "self_cognition.json", #你数据集的名字"file_sha1": "eca3d89fa38b35460d6627cefdc101feef507eb5",#这是生成的独特编码"columns": {"prompt": "instruction", #映射关系的描述"query": "input","response": "output","history": "history"#有就加上，没有就不加}}这样注册了就不会报错了。
附上生成独特编码的代码
import hashlib
def calculate_sha1(file_path):sha1 = hashlib.sha1()try:with open(file_path, 'rb') as file:while True:data = file.read(8192) # Read in chunks to handle large filesif not data:breaksha1.update(data)return sha1.hexdigest()except FileNotFoundError:return "File not found."# 使用示例
file_path = 'test3.json' # 替换为您的文件路径
sha1_hash = calculate_sha1(file_path)
print("SHA-1 Hash:", sha1_hash)ps：往期回顾python划分数据集时出现KeyError: ‘instruction‘错误
这篇关于LLAMA-Factory微调chatglm3-6b出现KeyError: ‘instruction‘错误的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
