本文主要是介绍【RAG】在 InternLM Studio 上部署茴香豆技术助手,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本次部署的教程参考
https://github.com/InternLM/Tutorial/blob/camp2/huixiangdou/readme.md
部署位置为Intern Studio 开发机
在实践过程中学到很多知识点,尤其是linux指令
- 创建软链接(也称符号链接)(symbolic link)
作用类似于快捷方式,可以在链接文件访问目标文件的内容,但是不占用内存。目标文件也可以是一个文件夹
ln -s 目标文件(夹)地址 链接文件(夹)地址
ln -s /root/share/new_models/ /root/models/
- 在linux里直接修改文件的内容
使用sed流编辑器,用于处理文本流。
sed -i 表示直接修改原始文件,而不是将结果保存到标准输出中
sed -i ‘6s#.*#xxxxxxxx#’ file
表示将 file文件里的第六行所有内容替换为xxxxxx
sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini
设置接受问题列表和拒答问题列表,在问题进来时,先进行相似度匹配,与接受问题列表里的内容相似的才进行回复,否则在用户群聊中,有很多闲聊是不需要回复的。
基础部署
对话示例:
支持网络搜索
如果不开启网络搜索的话,感觉知识库里没有的内容会不回答
注册申请Serper API
Serper是一个低成本的谷歌搜索API,可用于从谷歌搜索结果中获取答案框、知识图谱和有机结果数据。
网页版部署
使用Gradio 搭建网页demo
有点奇怪这个问题没有生成预期回复
更换问题之后,得到了回复
好像是因为茴香豆里的问题审核比较严格
这篇关于【RAG】在 InternLM Studio 上部署茴香豆技术助手的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!