私有化文本嵌入（Embedding） + Weaviate

本文主要是介绍私有化文本嵌入（Embedding） + Weaviate，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

weavaite向量库可以集成第三方托管的模型，这使得开发体验得到了增强，例如

1、将对象直接导入Weaviate，无需手动指定嵌入(Embedding)

2、使用生成式AI模型(LLM)构建集成检索增强生成（RAG）管道

同时weaviate也可以与Transformers库无缝集成，允许用户直接在Weaviate数据库中利用兼容的模型。这些集成使开发人员能够轻松构建复杂的人工智能驱动应用程序

本文重点讨论通过本地模型文件（词嵌入模型gte-large-zh）来构建自定义Transformers模型镜像，通过与weaviate模块集成赋予weaviate文本嵌入功能。

构建自定义Transformers模型镜像

创建 Dockerfile 并下载模型

# 用于构建词嵌入模型镜像的基础镜像
FROM semitechnologies/transformers-inference:custom 
# 将本地词嵌入模型放到当前目录下（my-model） /app/models/model是词嵌入镜像生成后的位置
# 不要修改/app/model/model，因为这是weaviate应用程序指定的模型路径
COPY ./my-model /app/models/model

构建并标记 Dockerfile

docker build -f my-inference-image.Dockerfile -t my-inference-image .

在 Weaviate 实例中使用该镜像

配置docker-compose.yml文件

version: '3.4'
services:
weaviate:
command:
- --host
- 0.0.0.0
- --port
- '8080'
- --scheme
- http
image: cr.weaviate.io/semitechnologies/weaviate:1.24.8
ports:
- 8087:8080
- 50052:50051
t2v-transformers:
image: gte-large-zh
ports:
- "9090:8080"
environment:
ENABLE_CUDA: '1'
NVIDIA_VISIBLE_DEVICES: 'all'

# nvidia GPU支持配置
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]