【InternLM实战营第二期笔记】03：“茴香豆“，搭建你的 RAG 智能助理（未完成）

本文主要是介绍【InternLM实战营第二期笔记】03：“茴香豆“，搭建你的 RAG 智能助理（未完成），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

笔记-RAG
- 课程结构
- 为什么要用 RAG？
- 定义
- 工作原理
- 向量数据库
- RAG 工作流程
- 发展历程
- 常见优化
- RAG vs 微调
- LLM 优化方法比较
- RAG的评价
- 总结
笔记-茴香豆
- 什么是茴香豆
- 茴香豆实战

笔记-RAG

课程结构

在这里插入图片描述

为什么要用 RAG？

在这里插入图片描述
新增知识，尤其是高频变动且精确度要求高的知识，其实比较难通过微调的方式注入模型，而在模型的输入窗口中添加基于相关性的召回段落，能够比较有效地缓解这个问题。RAG 就是对一类方案的概括。

定义

在这里插入图片描述

工作原理

在这里插入图片描述
Indexing 部分，llamaIndex 是目前比较火的框架。

向量数据库

在这里插入图片描述
实践中召回部分一般需要基于 term + 基于表示的向量多路召回，尤其在一些医疗不充分、embedding 很难训好的领域，传统方法例如 BM25等等还是需要的。

RAG 工作流程

在这里插入图片描述
图上例子很典型，尤其具有时效性的事实性的信息，很难通过微调处理。

发展历程

在这里插入图片描述
其实后面有点像之前的检索系统了，各个模块逐渐独立出来，分别优化。

常见优化

在这里插入图片描述
可以看到这里总结的 RAG 优化，主要优化部分放在了 R 的部分

RAG vs 微调

在这里插入图片描述
微调相对存在一些不可控情形，如果是信息密集且需要高保真度的场景，一般不推荐上来就做微调。

LLM 优化方法比较

在这里插入图片描述
这里的总结也挺全的，基本上生产环境开发，可以考虑这样的优化链路。

RAG的评价

在这里插入图片描述

总结

在这里插入图片描述

笔记-茴香豆

什么是茴香豆

在这里插入图片描述
两篇技术报告写得很好，推荐开发者去读一下，很多问题并不是新问题，但在新技术场景下可以尝试不同的解决方案。

看来浦语对茴香豆的定位升级成平台性产品了。

在这里插入图片描述

茴香豆实战

在这里插入图片描述
视频中视频，笑死。这是白牛老师的真声吗？

跟教程同步做部署，第一步又是要了命的准备环境。猜猜这次需要多久……
对了发现如果是配环境比较花时间，可以先启动一个算力点消耗更少的开发机，全部装完后再切换过去。

……一路按照教程运行至向量化

python3 -m huixiangdou.service.feature_store --sample ./test_queries.jsonTraceback (most recent call last):File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py", line 187, in _run_module_as_mainmod_name, mod_spec, code = _get_module_details(mod_name, _Error)File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py", line 110, in _get_module_details__import__(pkg_name)File "/root/huixiangdou/huixiangdou/__init__.py", line 4, in <module>from .service import ChatClient  # noqa E401File "/root/huixiangdou/huixiangdou/service/__init__.py", line 17, in <module>from .web_search import WebSearch  # noqa E401File "/root/huixiangdou/huixiangdou/service/web_search.py", line 11, in <module>from duckduckgo_search import DDGS
ModuleNotFoundError: No module named 'duckduckgo_search'

是教程没更新吗？安装这个包再试试，又出现了新的错误：

python3 -m huixiangdou.service.feature_store --sample ./test_queries.json
/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py:126: RuntimeWarning: 'huixiangdou.service.feature_store' found in sys.modules after import of package 'huixiangdou.service', but prior to execution of 'huixiangdou.service.feature_store'; this may result in unpredictable behaviourwarn(RuntimeWarning(msg))
Traceback (most recent call last):File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py", line 196, in _run_module_as_mainreturn _run_code(code, main_globals, None,File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py", line 86, in _run_codeexec(code, run_globals)File "/root/huixiangdou/huixiangdou/service/feature_store.py", line 531, in <module>cache = CacheRetriever(config_path=args.config_path)File "/root/huixiangdou/huixiangdou/service/retriever.py", line 220, in __init__config = pytoml.load(f)['feature_store']File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/site-packages/pytoml/parser.py", line 11, in loadreturn loads(fin.read(), translate=translate, object_pairs_hook=object_pairs_hook, filename=getattr(fin, 'name', repr(fin)))File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/site-packages/pytoml/parser.py", line 43, in loadserror('duplicate_keys. Key "{0}" was used more than once.'.format(k))File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/site-packages/pytoml/parser.py", line 27, in errorraise TomlError(msg, pos[0], pos[1], filename)
pytoml.core.TomlError: config.ini(31, 1): duplicate_keys. Key "local_llm_path" was used more than once.

看来今天的探索要暂时告一段落了……

这篇关于【InternLM实战营第二期笔记】03：“茴香豆“，搭建你的 RAG 智能助理（未完成）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！