ubuntu下open-webui + ollama本地大模型部署

2024-08-26 10:44

本文主要是介绍ubuntu下open-webui + ollama本地大模型部署,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • nvidia gpu驱动安装
    • 安装
    • 卸载
  • ollama 部署
    • 添加docker秘钥
    • docker配置添加国内镜像源
    • ollama安装
      • 从源拉取ollama镜像。
      • 启动一个ollama容器
    • 通过ollama下载模型到本地
    • 检验本地模型
  • open-webui 部署
    • 安装容器和镜像下载
    • webui使用
    • 查看模型运行时内存、cpu、gpu占用


业余兴趣,部署下最近很火的LLM大模型玩玩,现在市面做这种大模型的部署快速应用还是挺多的,比如下面这些。
在这里插入图片描述

这里介绍采用nvidia gpu,基于ubuntu docker环境下的open-webui + ollama本地大模型部署过程。

nvidia gpu驱动安装

如果电脑有nvidia gpu,使用本地大模型最好采用gpu,否则用cpu的推理速度极慢,还占用资源。

安装

# nvidia镜像源
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.listapt-get update#安装 NVIDIA Container Toolkit 软件包apt-get install -y nvidia-container-toolkit
#配置 Docker 以使用 Nvidia 驱动程序sudo nvidia-ctk runtime configure --runtime=dockerapt-get install dkmsubuntu-drivers devices # 查询系统建议安装的nvidia版本
apt install nvidia-driver-550-open  #选择驱动版本安装
ls /usr/src/ |grep nvidia #可以看到nvidia开头的驱动版本文件

安装后reboot重启
然后执行nvidia-smi查看gpu情况,确认是否安装成功。

卸载

sudo apt-get --purge remove nvidia*
sudo apt autoremove# To remove CUDA Toolkit:
sudo apt-get --purge remove "*cublas*" "cuda*"
sudo apt-get --purge remove "*nvidia*"

ollama 部署

添加docker秘钥

curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

添加阿里docker软件源

sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

在这里插入图片描述

docker配置添加国内镜像源

创建文件:/etc/docker/daemon.json, 添加如下内容, docker镜像源将会从如下站点拉取。同时配置Nvidia运行时,能在docker中使用GPU。

{"registry-mirrors": [  #镜像源"https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com","https://docker.m.daocloud.io","https://ghcr.io","https://mirror.baidubce.com","https://docker.nju.edu.cn"],"default-runtime": "nvidia","runtimes": {"nvidia": {"args": [],"path": "nvidia-container-runtime"}},"data-root": "/home/docker/data/"  #docker镜像默认安装路径}

其中,"data-root"为docker镜像默认安装路径,用户根据自己情况选择路径。如果不选择,默认安装到:/var/run/docker/
sudo systemctl restart docker 生效。

ollama安装

从源拉取ollama镜像。

docker pull ollama/ollama:latest

启动一个ollama容器

docker run -d --gpus=all --restart=always -v /root/project/docker/ollama:/root/project/.ollama -p 11434:11434 --name ollama ollama/ollama

使用镜像为ollama/ollama,映射端口11434。

通过ollama下载模型到本地

#下载通义千问:
docker exec -it ollama ollama run qwen2
#下载通义ollama3
docker exec -it ollama ollama run  llama3.1:8b

查看已经安装好的模型:

docker exec -it ollama ollama list

在这里插入图片描述
可下载其他模型库如下,根据自身电脑配置下载

模型参数数量大小下载方式
Llama 27B3.8GBdocker exec -it ollama ollama run llama2
Mistral7B4.1GBdocker exec -it ollama ollama run mistral
Dolphin Phi2.7B1.6GBdocker exec -it ollama ollama run dolphin-phi
Phi-22.7B1.7GBdocker exec -it ollama ollama run phi
Neural Chat7B4.1GBdocker exec -it ollama ollama run neural-chat
Starling7B4.1GBdocker exec -it ollama ollama run starling-lm
Code Llama7B3.8GBdocker exec -it ollama ollama run codellama
Llama 2 Uncensored7B3.8GBdocker exec -it ollama ollama run llama2-uncensored
Llama 213B7.3GBdocker exec -it ollama ollama run llama2:13b
Llama 270B39GBdocker exec -it ollama ollama run llama2:70b
Orca Mini3B1.9GBdocker exec -it ollama ollama run orca-mini
Vicuna7B3.8GBdocker exec -it ollama ollama run vicuna
LLaVA7B4.5GBdocker exec -it ollama ollama run llava
Gemma2B1.4GBdocker exec -it ollama ollama run gemma:2b
Gemma7B4.8GBdocker exec -it ollama ollama run gemma:7b

检验本地模型

通过命令运行ollama3.1,能直接进行对话,说明正常了。

docker exec -it ollama ollama run  llama3.1:8b

在这里插入图片描述

open-webui 部署

上面命令方式跟模型对话不太通用,通常会做成网页形式交互,这里可以采用open-webui。

安装容器和镜像下载

支持 Nvidia GPU 的 Open WebUI

sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

但下载估计非常慢,可以用国内的:

sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always  registry.cn-shenzhen.aliyuncs.com/funet8/open-webui:cuda

如果不支持 Nvidia GPU 可以下载main版本:

$ sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

映射端口号为3000.
查看ollama和open-webui安装的容器和镜像:
在这里插入图片描述
在这里插入图片描述

webui使用

网页登入:
http://127.0.0.0:3000/
在这里插入图片描述
第一次登入,需要注册个管理员账号。

进入webui后,查看是否识别到模型。
在这里插入图片描述

以及管理模型docker的端口号是否与ollama一致。
在这里插入图片描述
第一次启动模型提问,可能要等待一段时间,等模型加载启动后才有回应。
(如果一直没有回应,但命令行方式有回应,那可能是webui安装问题,或者浏览器问题)。
在这里插入图片描述

查看模型运行时内存、cpu、gpu占用

模型开始回答问题时,cpu变化不大,回答结束后cpu恢复,但内存被占用很多,而且回答结束后仍然占用,说明模型已经被加载到内存处于活跃状态。
在这里插入图片描述
nvidia-smi查看,模型j计算的主要占用在GPU中。
在这里插入图片描述

这篇关于ubuntu下open-webui + ollama本地大模型部署的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1108341

相关文章

Python 中的 with open文件操作的最佳实践

《Python中的withopen文件操作的最佳实践》在Python中,withopen()提供了一个简洁而安全的方式来处理文件操作,它不仅能确保文件在操作完成后自动关闭,还能处理文件操作中的异... 目录什么是 with open()?为什么使用 with open()?使用 with open() 进行

Android实现打开本地pdf文件的两种方式

《Android实现打开本地pdf文件的两种方式》在现代应用中,PDF格式因其跨平台、稳定性好、展示内容一致等特点,在Android平台上,如何高效地打开本地PDF文件,不仅关系到用户体验,也直接影响... 目录一、项目概述二、相关知识2.1 PDF文件基本概述2.2 android 文件访问与存储权限2.

Spring Boot项目部署命令java -jar的各种参数及作用详解

《SpringBoot项目部署命令java-jar的各种参数及作用详解》:本文主要介绍SpringBoot项目部署命令java-jar的各种参数及作用的相关资料,包括设置内存大小、垃圾回收... 目录前言一、基础命令结构二、常见的 Java 命令参数1. 设置内存大小2. 配置垃圾回收器3. 配置线程栈大小

python连接本地SQL server详细图文教程

《python连接本地SQLserver详细图文教程》在数据分析领域,经常需要从数据库中获取数据进行分析和处理,下面:本文主要介绍python连接本地SQLserver的相关资料,文中通过代码... 目录一.设置本地账号1.新建用户2.开启双重验证3,开启TCP/IP本地服务二js.python连接实例1.

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

使用Python开发一个简单的本地图片服务器

《使用Python开发一个简单的本地图片服务器》本文介绍了如何结合wxPython构建的图形用户界面GUI和Python内建的Web服务器功能,在本地网络中搭建一个私人的,即开即用的网页相册,文中的示... 目录项目目标核心技术栈代码深度解析完整代码工作流程主要功能与优势潜在改进与思考运行结果总结你是否曾经

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

在java中如何将inputStream对象转换为File对象(不生成本地文件)

《在java中如何将inputStream对象转换为File对象(不生成本地文件)》:本文主要介绍在java中如何将inputStream对象转换为File对象(不生成本地文件),具有很好的参考价... 目录需求说明问题解决总结需求说明在后端中通过POI生成Excel文件流,将输出流(outputStre