本文主要是介绍linux 部署Ollama本地大模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
简介
llama 是一个大模型的管理框架,其作用类似于 Docker:如果将每一个标准化的大模型视为“镜像”,那么 Ollama 就能够通过一行命令快速拉取并运行这些大模型。然而,Ollama 本身是基于命令行的服务,所以为了方便我们对大模型进行微调和使用,还需要引入 maxkb 。maxkb 提供了一个 ChatBot 界面,它会把我们输入的结构化知识、转换成大模型可以理解的语言(即嵌入向量),从而实现有效的交互。在本文中,将会引导大家何利用 Ollama 快速搭建本地的大模型服务,并结合 maxkb 构建一个私人定制知识库。
优势
- 开源免费: Ollama 及其支持的模型完全开源免费,任何人都可以自由使用、修改和分发。
- 简单易用: 无需复杂的配置和安装过程,只需几条命令即可启动和运行 Ollama。
- 模型丰富: Ollama 支持 Llama 3、Mistral、Qwen2 等众多热门开源 LLM,并提供一键下载和切- 换功能。
- 资源占用低: 相比于商业 LLM,Ollama 对硬件要求更低,即使在普通笔记本电脑上也能流畅运行。
- 社区活跃: Ollama 拥有庞大且活跃的社区,用户可以轻松获取帮助、分享经验和参与模型开发。
如何使用
Ollama 支持在 ollama.com/library 上获取的模型列表,以下是一些可下载的示例模型:
模型列表
注意:运行 7B 模型至少需要 8 GB 的 RAM,运行 13B 模型需要 16 GB,运行 33B 模型需要 32 GB。
安装Ollama
第一步:按照
curl -fsSL https://ollama.com/install.sh | sh
第二步:运行
ollama run llama3
第三步:查看状态
systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since 四 2024-08-15 19:02:40 CST; 3s ago
Main PID: 128252 (ollama)
Tasks: 10
Memory: 414.1M
CGroup: /system.slice/ollama.service
└─128252 /usr/local/bin/ollama serve
第三步:修改端口
netstat -tunlp|grep ollama
vim /etc/systemd/system/ollama.service
下面添加一行
Environment="OLLAMA_HOST=0.0.0.0"
第四步:更改模型存放位置(可选步骤)
vim /etc/systemd/system/ollama.service
Environment=“OLLAMA_MODELS=/data/ollama/models”
位置同上
第五步: 重启 ollama
systemctl daemon-reload
systemctl restart ollama
安装maxkb
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统,由飞致云开发。通过MaxKB可以实现在网页上可视化使用大语言模型。本次采用docker的方式直接部署。
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb
访问(默认账号:admin 密码:MaxKB@123…)
导入模型
系统管理---->模型设置---->Ollama---->添加模型
模型配置(API Key处任意输入:我这里输的是123)
注意这里你的 xxx:11435 必须是 Ollama is running
点击修改之后,会自动导入配置
创建应用
在应用处点击创建应用
输入自定义的应用名称,我这里输入ai
选择关联好的ai模型,点击右上角的保存并发布
回到概览,点击演示。可以根据需求修改参数
即可对话大语言模型
这篇关于linux 部署Ollama本地大模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!