本文主要是介绍本地部署AI大模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
mac windows 同理
用到的软件 docker ollama 大家可以到官网下载
在ollama官网选择models，这里面有用到的大模型
我用到的是 qwen2 ，这个对中文比较友好
注意，每个模型有不同的参数版本，参数量越大，对电脑配置越高，越聪明，一搬选择7b就可以了
复制一下给到的命令 ollama run qwen2:7b
打开终端，用管理员身份运行刚复制的命令
sudo ollama run qwen2:7b这时会进入下载，耐心等待下载完毕
这时候就可以聊天了
2、如果想用聊天框的形式 可以利用docker实现
首先电脑安装docker
接着安装 open-webui
找到How to Install下的第一个命令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main打开命令行 把刚才复制的内容粘贴进去 等待安装
成功后如图
这时候docker里面就有刚下载的 open-webui了
打开
打开后选择对应的模型
这时候就可以聊天了
这篇关于本地部署AI大模型的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
