【InternLM实战营第二期笔记】03:“茴香豆“,搭建你的 RAG 智能助理(未完成)

本文主要是介绍【InternLM实战营第二期笔记】03:“茴香豆“,搭建你的 RAG 智能助理(未完成),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 笔记-RAG
    • 课程结构
    • 为什么要用 RAG?
    • 定义
    • 工作原理
    • 向量数据库
    • RAG 工作流程
    • 发展历程
    • 常见优化
    • RAG vs 微调
    • LLM 优化方法比较
    • RAG的评价
    • 总结
  • 笔记-茴香豆
    • 什么是茴香豆
    • 茴香豆实战

笔记-RAG

课程结构

在这里插入图片描述

为什么要用 RAG?

在这里插入图片描述
新增知识,尤其是高频变动且精确度要求高的知识,其实比较难通过微调的方式注入模型,而在模型的输入窗口中添加基于相关性的召回段落,能够比较有效地缓解这个问题。RAG 就是对一类方案的概括。

定义

在这里插入图片描述

工作原理

在这里插入图片描述
Indexing 部分,llamaIndex 是目前比较火的框架。

向量数据库

在这里插入图片描述
实践中召回部分一般需要基于 term + 基于表示的向量多路召回,尤其在一些医疗不充分、embedding 很难训好的领域,传统方法例如 BM25等等还是需要的。

RAG 工作流程

在这里插入图片描述
图上例子很典型,尤其具有时效性的事实性的信息,很难通过微调处理。

发展历程

在这里插入图片描述
其实后面有点像之前的检索系统了,各个模块逐渐独立出来,分别优化。

常见优化

在这里插入图片描述
可以看到这里总结的 RAG 优化,主要优化部分放在了 R 的部分

RAG vs 微调

在这里插入图片描述
微调相对存在一些不可控情形,如果是信息密集且需要高保真度的场景,一般不推荐上来就做微调。

LLM 优化方法比较

在这里插入图片描述
这里的总结也挺全的,基本上生产环境开发,可以考虑这样的优化链路。

RAG的评价

在这里插入图片描述

总结

在这里插入图片描述

笔记-茴香豆

什么是茴香豆

在这里插入图片描述
两篇技术报告写得很好,推荐开发者去读一下,很多问题并不是新问题,但在新技术场景下可以尝试不同的解决方案。
在这里插入图片描述
看来浦语对茴香豆的定位升级成平台性产品了。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

茴香豆实战

在这里插入图片描述
视频中视频,笑死。这是白牛老师的真声吗?

跟教程同步做部署,第一步又是要了命的准备环境。猜猜这次需要多久……
对了发现如果是配环境比较花时间,可以先启动一个算力点消耗更少的开发机,全部装完后再切换过去。

……一路按照教程运行至向量化

python3 -m huixiangdou.service.feature_store --sample ./test_queries.jsonTraceback (most recent call last):File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py", line 187, in _run_module_as_mainmod_name, mod_spec, code = _get_module_details(mod_name, _Error)File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py", line 110, in _get_module_details__import__(pkg_name)File "/root/huixiangdou/huixiangdou/__init__.py", line 4, in <module>from .service import ChatClient  # noqa E401File "/root/huixiangdou/huixiangdou/service/__init__.py", line 17, in <module>from .web_search import WebSearch  # noqa E401File "/root/huixiangdou/huixiangdou/service/web_search.py", line 11, in <module>from duckduckgo_search import DDGS
ModuleNotFoundError: No module named 'duckduckgo_search'

是教程没更新吗?安装这个包再试试,又出现了新的错误:

python3 -m huixiangdou.service.feature_store --sample ./test_queries.json
/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py:126: RuntimeWarning: 'huixiangdou.service.feature_store' found in sys.modules after import of package 'huixiangdou.service', but prior to execution of 'huixiangdou.service.feature_store'; this may result in unpredictable behaviourwarn(RuntimeWarning(msg))
Traceback (most recent call last):File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py", line 196, in _run_module_as_mainreturn _run_code(code, main_globals, None,File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py", line 86, in _run_codeexec(code, run_globals)File "/root/huixiangdou/huixiangdou/service/feature_store.py", line 531, in <module>cache = CacheRetriever(config_path=args.config_path)File "/root/huixiangdou/huixiangdou/service/retriever.py", line 220, in __init__config = pytoml.load(f)['feature_store']File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/site-packages/pytoml/parser.py", line 11, in loadreturn loads(fin.read(), translate=translate, object_pairs_hook=object_pairs_hook, filename=getattr(fin, 'name', repr(fin)))File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/site-packages/pytoml/parser.py", line 43, in loadserror('duplicate_keys. Key "{0}" was used more than once.'.format(k))File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/site-packages/pytoml/parser.py", line 27, in errorraise TomlError(msg, pos[0], pos[1], filename)
pytoml.core.TomlError: config.ini(31, 1): duplicate_keys. Key "local_llm_path" was used more than once.

看来今天的探索要暂时告一段落了……

这篇关于【InternLM实战营第二期笔记】03:“茴香豆“,搭建你的 RAG 智能助理(未完成)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1012072

相关文章

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总

Linux搭建Mysql主从同步的教程

《Linux搭建Mysql主从同步的教程》:本文主要介绍Linux搭建Mysql主从同步的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux搭建mysql主从同步1.启动mysql服务2.修改Mysql主库配置文件/etc/my.cnf3.重启主库my

国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)

《国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)》本文给大家利用deepseek模型搭建私有知识问答库的详细步骤和遇到的问题及解决办法,感兴趣的朋友一起看看吧... 目录1. 第1步大家在安装完ollama后,需要到系统环境变量中添加两个变量2. 第3步 “在cmd中

基于Canvas的Html5多时区动态时钟实战代码

《基于Canvas的Html5多时区动态时钟实战代码》:本文主要介绍了如何使用Canvas在HTML5上实现一个多时区动态时钟的web展示,通过Canvas的API,可以绘制出6个不同城市的时钟,并且这些时钟可以动态转动,每个时钟上都会标注出对应的24小时制时间,详细内容请阅读本文,希望能对你有所帮助...

使用Python实现表格字段智能去重

《使用Python实现表格字段智能去重》在数据分析和处理过程中,数据清洗是一个至关重要的步骤,其中字段去重是一个常见且关键的任务,下面我们看看如何使用Python进行表格字段智能去重吧... 目录一、引言二、数据重复问题的常见场景与影响三、python在数据清洗中的优势四、基于Python的表格字段智能去重

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

Python与DeepSeek的深度融合实战

《Python与DeepSeek的深度融合实战》Python作为最受欢迎的编程语言之一,以其简洁易读的语法、丰富的库和广泛的应用场景,成为了无数开发者的首选,而DeepSeek,作为人工智能领域的新星... 目录一、python与DeepSeek的结合优势二、模型训练1. 数据准备2. 模型架构与参数设置3

Java实战之利用POI生成Excel图表

《Java实战之利用POI生成Excel图表》ApachePOI是Java生态中处理Office文档的核心工具,这篇文章主要为大家详细介绍了如何在Excel中创建折线图,柱状图,饼图等常见图表,需要的... 目录一、环境配置与依赖管理二、数据源准备与工作表构建三、图表生成核心步骤1. 折线图(Line Ch

Python3脚本实现Excel与TXT的智能转换

《Python3脚本实现Excel与TXT的智能转换》在数据处理的日常工作中,我们经常需要将Excel中的结构化数据转换为其他格式,本文将使用Python3实现Excel与TXT的智能转换,需要的可以... 目录场景应用:为什么需要这种转换技术解析:代码实现详解核心代码展示改进点说明实战演练:从Excel到