本文主要是介绍部署接入 M3E和chatglm2-m3e文本向量模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
前言
FastGPT 默认使用了 openai 的 embedding 向量模型,如果你想私有部署的话,可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型,资源使用不高,CPU 也可以运行。下面教程是基于 “睡大觉” 同学提供的一个的镜像。
部署镜像
m3e-large-api
镜像名: stawky/m3e-large-api:latest
国内镜像: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
端口号: 6008 环境变量:
chatglm2-m3e
镜像名: stawky/chatglm2-m3e:latest
国内镜像名: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/chatglm2-m3e:latest
端口号: 6006
设置安全凭证(即oneapi中的渠道密钥)
默认值:sk-aaabbbcccdddeeefffggghhhiiijjjkkk
也可以通过环境变量引入:sk-key。有关docker环境变量引入的方法请自寻教程,此处不再赘述。
docker部署
m
这篇关于部署接入 M3E和chatglm2-m3e文本向量模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!