本文主要是介绍我的第2个AI项目-RAG with Gemma hosted on HuggingFace and Weaviate in DSPy,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
目录
- 项目简介
- 概述
- 时间
- kaggle地址
- 主要工作和收获
- 技术栈
- 数据集
- 模型表现
- 未来项目说明
- 思路和原则
- 为什么不把现在的项目做深一点?
- 博客风格转变
- bug修复
- 版本兼容问题
项目简介
概述
本项目简要介绍了如何使用 DSPy 构建一个简单的 RAG 管道,且利用了托管在 Hugging Face 上的 Gemma LLM模型 和 Weaviate 向量数据库。
时间
2024.09.06-2024.09.07
kaggle地址
RAG with Gemma hosted on HuggingFace and Weaviate in DSPy
主要工作和收获
- 用 Weaviate 向量数据库来构建检索模型从而增强生成。
- 使用 DSPy 构建一个简单的 RAG 管道来增强生成。
- 使用少样本学习(Few-Shot Learning)来优化 RAG 模型 的问答生成能力。
- 掌握了如何使用 Hugging Face 上的LLM模型,比如 Gemma。
- 修复了一个版本兼容bug。
技术栈
- RAG,DSPy,Weaviate,Hugging Face,Gemma,Few-Shot Learning
数据集
meta-kaggle
模型表现
问题:Which Kaggle competition should I look at to learn more about recommender systems in e-commerce?
答案(生成):
- 未使用RAG的生成
答案较长,就不贴了,可以查看kaggle代码日志。结论是 Gemma 无法在没有额外上下文的情况下回答示例查询。 - 使用未优化的RAG的生成
The [1] competition is a good place to start learning about recommender systems in e-commerce. By analyzing the data provided in the competition, we can gain a better understanding of how to build a
效果不太理想
- 使用少样本学习优化的RAG的生成
You might be interested in the JPX Tokyo Stock Exchange Prediction or Jane Street Market Prediction or Ubiquant Market Prediction competition.
达到了预期效果,和少样本学习的例子格式完全一致。
未来项目说明
思路和原则
小步快跑,先广泛再深入
这是我接下来做项目的思路和原则,通过每几天就快速完成一个小项目(打小怪)来实现下面几个目标:
1.把nlp领域的所有常见任务都做一遍,了解每个任务的基本流程。
2.把nlp领域的所有常用技术都用一遍,掌握基本原理和使用方法。
先广泛掌握所有技术的基本使用以及适用的任务类型,再对这些技术进行对比和刷选,把那些最前沿且最好用的技术组合在一起,去挑战更大更难的项目,并不断深入技术和理论前沿。
为什么不把现在的项目做深一点?
杀鸡焉用牛刀
因为我现在还处于技术学习和探索的初步阶段,学到的一些技术、框架、模型可能已经过时了,我现在做的一些任务可能也是过时的任务。我不想在这些可能已经过时的技术和任务上面浪费太多的时间,我希望尽快掌握业界最全面且最前沿的技术,并用这些技术去完成、挑战和研究最前沿的任务和问题。
博客风格转变
力求简约美
另外,我前几篇技术博客写的有点臃肿了,后面我会力求简洁精炼,追求一种简约美,像这篇博客一样。
bug修复
版本兼容问题
原作者在安装这三个包的时候,日志里面报了两处错误,应该是版本兼容问题,不过不影响后面程序的继续运行。我在这里也报了两处错误,但是错误信息有点不同,先不管。
!pip install -U transformers
!pip install dspy-ai
!pip install weaviate-client
但是我在运行到下面代码的时候,又报错了,而且程序停止了运行,出错地方:
import dspy
报错信息:
AttributeError: module 'google._upb._message' has no attribute 'MessageMapContainer'
我上网查了一下,AttributeError: module ‘google._upb._message’ has no attribute ‘MessageMapContainer’ #1908
从这里查到问题原因还是版本兼容问题,文章建议的解决方法是:
pip install proto-plus==1.24.0.dev1
我按照这个方法试了一下,在后面的另一个地方报了另外一个错误,我又查了一下发现还是版本兼容问题。所以我想到问题应该出在最开始安装的三个库那里,因为这三个库我没有指定版本安装,所以安装的是最新版本,可能与作者的版本不同,从而产生了冲突。
解决方案是:指定版本号,保持和原作者当时的版本一致。版本号是我从原作者的打印日志里面找到的。修改后代码如下:
!pip install transformers==4.38.1
!pip install dspy-ai==2.3.3
!pip install weaviate-client==4.5.0
再次运行发现,作者在这里的两处报错信息被我修复了,不再报错了!
不过又出现了新的报错,而且导致了程序停止运行,报错位置:
if client.schema.exists("MyExampleIndex"):
报错信息如下:
AttributeError: 'Schema' object has no attribute 'exists'
我查了一下,原来是因为 weaviate-client 库从 4.x 版本开始对一些方法进行了修改,包括删除了 client.schema.exists 方法。
解决方案是:改用最接近 4.5.0 版本的 3.x 版本,即 3.26.0
修改后的代码如下:
!pip install weaviate-client==3.26.0
再次运行,终于全部跑通了!而且没有任何错误提示了,包括原作者日志里的两处错误提示也没有了。
这篇关于我的第2个AI项目-RAG with Gemma hosted on HuggingFace and Weaviate in DSPy的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!