本文主要是介绍Ollama拉起本地模型以及rag系统部署。，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
什么是 Ollama ？
Ollama 是一个简明易用的本地大模型运行框架。能在本地启动并运行 Llama、qwen、Gemma 及其他大语言模型，没有GPU资源照样可以拉起模型，和LocalAI 比较类似，但是加载模型更容易。
1.安装
安装后运行，执行：http://127.0.0.1:11434/，返回：Ollama is running表示成功
2.拉取模型：
3.运行模型
ollama run qwen2（mac电脑加载的7b），执行后开始提问，如下图：
4.open-webui，更加方便web方式提问。
什么是 Open WebUI ？
Open WebUI 是针对 LLM 的用户友好的 WebUI，支持的 LLM 运行程序包括 Ollama 和 OpenAI 兼容的 API。
Open WebUI 系统旨在简化客户端（您的浏览器）和 Ollama API 之间的交互。此设计的核心是后端反向代理，可增强安全性并解决 CORS 问题。
参考：https://github.com/open-webui/open-webui
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
搭建简单的tag系统
下载
地址：https://anythingllm.com/
配置
embed及向量数据库选默认
新建工作区，然后上传文档，然后向量化存储。
基于文档，对话，如下可以看到部分文档被引用到。
其他
rag系统：fastgpt
这篇关于Ollama拉起本地模型以及rag系统部署。的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
