本文主要是介绍LLM代码实现-Qwen(挂载知识库),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
为什么要挂载知识库?
LLM 在回答用户的问题时可能会产生幻觉,或者由于训练数据中不包含用户想要的内容而无法回答,通常情况下我们可以选择微调模型或者外挂知识库来缓解这类问题。微调模型的对数据和算力都有一定的要求,而知识库的门槛会更低一些,所以通常情况下会选择外挂知识库高效地来解决这类问题。
挂载知识库其实相当于引入外部知识,为了扩展语言模型以减少歧义,从大型文本数据库中检索相关文档。通常将输入序列分割成块并检索与用户输入的 query 相似的文档,然后将所选文档放在输入文本之前作为前置知识以改进模型的预测。使得模型可以更容易、更准确地访问专业知识。
挂载知识库的流程
文档 -> 文档向量化 -> 文档检索 -> 对话交互
我们可以借助 langchain 来实现这个流程:
1. 文档
我们使用中医药书籍来作为知识库,(700 本中医药古籍文本),下载完成后运行以下代码以合并数据。
import osdir_path = "./TCM-Ancient-Books-master"
for index, filename in enumerate(os.listdir(dir_path)):if not filename.endswith(".txt"):continuefile_path = os.path.join(dir_path, filename)with open(file_path, "r", encoding='gb18030', errors='ignore') as f:text = f.read().replace("\n", "")mode = "a" if index else "w"with open("./knowledge.txt", mode, encoding="utf-8") as f:f.write(text + "\n")
2. 文档向量化
在文档检索的过程中如果利用字符串直接匹配文本相似度效率是很低的,尤其是知识库体量非常大的时候,因此一般会先对文档进行切割和向量化以提升检索的速度。将每个文档转换为数值向量,以便计算文档之间的相似度或进行聚类分析。
from langchain.document_loaders import UnstructuredFileLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
from langchain.vectorstores import FAISSdef load_knowledge():filepath = "./knowledge.txt"loader = UnstructuredFileLoader(filepath)docs = loader.load()# chunk-size是文本最大的字符数。chunk-overlap是前后两个chunk的重叠部分最大字数text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=40)docs = text_splitter.split_documents(docs)# 这里需要下载一个中文的文本向量化模型embeddings = HuggingFaceEmbeddings(model_name="./text2vec-large-chinese",model_kwargs={'device': 'cuda'})# 指定向量化文档加载/保存路径save_path = "./med_faiss_store.faiss"if not os.path.exists(save_path):vector_store = FAISS.from_documents(docs, embeddings)vector_store.save_local(save_path)else:vector_store = FAISS.load_local(save_path, embeddings=embeddings)return vector_store
3. 文档检索
利用以下代码根据用户的输入按照相关性对向量库中的文本文本进行排序并取出排名靠前的 5 条知识,并将知识库中的知识库和用户的输入拼接在一起作为新的 prompt。
docs = vector_store.similarity_search(patient_history) # 计算相似度,并把相似度高的chunk放在前面
knowledge = [doc.page_content for doc in docs[:5]] # 提取chunk的文本内容
prompt = f"知识库:{knowledge}\n问题如下:\n{patient_input}"
4. 对话交互
最后是把 prompt 送到模型中得到输出,与模型的交互在[上一篇文章]中有详细的介绍,这里就不赘述了,直接给出完整的代码(运行时要注意模型路径、知识库路径是否正确)。
from langchain.document_loaders import UnstructuredFileLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig
import torch
import osdef load_model(model_path):tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True).eval()return tokenizer, modeldef load_knowledge():filepath = "./knowledge.txt"loader = UnstructuredFileLoader(filepath)docs = loader.load()# chunk-size是文本最大的字符数。chunk-overlap是前后两个chunk的重叠部分最大字数text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=40)docs = text_splitter.split_documents(docs)embeddings = HuggingFaceEmbeddings(model_name="./text2vec-large-chinese",model_kwargs={'device': 'cuda'}.# 指定向量化文档加载/保存路径save_path = "./med_faiss_store.faiss"if not os.path.exists(save_path):vector_store = FAISS.from_documents(docs, embeddings)vector_store.save_local(save_path)else:vector_store = FAISS.load_local(save_path, embeddings=embeddings)return vector_storedef clear_screen():os.system('clear')return [], ""def chat_qwen(model, tokenizer, SYSTEM_PROMPT, with_knowledge=False):vector_store = load_knowledge()history, patient_history = clear_screen()while True:patient_input = input("user:")patient_history += patient_inputif patient_input.lower() == "clc":history, patient_history = clear_screen()continueif with_knowledge:docs = vector_store.similarity_search(patient_history) # 计算相似度,并把相似度高的chunk放在前面knowledge = [doc.page_content for doc in docs[:5]] # 提取chunk的文本内容prompt = f"知识库:{knowledge}\n问题如下:\n{inputs}"else:prompt = inputsresponse, _ = model.chat(tokenizer, prompt, history=history, system=SYSTEM_PROMPT)history.append((patient_input, response)) # history 不包括系统提示和知识库信息print("assistant:", response, end="\n\n")if __name__ == '__main__':model_path = "/root/autodl-tmp/LLM_MODEL/Qwen-1_8B-Chat"SYSTEM_PROMPT = ""tokenizer, model = load_model(model_path)chat_qwen(model, tokenizer, SYSTEM_PROMPT, with_knowledge=True)
大模型&AI产品经理如何学习
求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。
1.学习路线图
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要点击下方图片前往获取
3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
这篇关于LLM代码实现-Qwen(挂载知识库)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!