本机部署大语言模型:Ollama和OpenWebUI实现各大模型的人工智能自由

本文主要是介绍本机部署大语言模型:Ollama和OpenWebUI实现各大模型的人工智能自由,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本机部署大语言模型:Ollama和OpenWebUI实现各大模型的人工智能自由
本篇文章介绍在window系统下,安装Ollama并且安装gemma(谷歌大模型)、llama2(脸书大模型)、qwen(阿里大模型)等大模型的教程,实现类似免费ChatGPT的web界面

OllamaFengmian
安装之后的web界面
image-20240514091912366
什么是Ollama
Ollama是一个开源项目,旨在让用户能够轻松地在其本地计算机上运行大型语言模型(LLM),是一个开源的大型语言模型服务。它支持各种LLM,包括Llama 3、Mistral和Gemma。

提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。

img
Ollama官网: https://ollama.com/

Ollama GitHub仓库:https://github.com/ollama/ollama

Ollama文档:https://github.com/ollama/ollama/blob/main/docs/api.md

Ollama的优势
易用性:

1.Ollama的API设计简洁明了,即使是初学者也可以轻松上手。 2.提供类似OpenAI的简单内容生成接口,极易上手使用。 3.类似ChatGPT的的聊天界面,无需开发直接与模型聊天。

灵活性:

1.支持多种LLM,如Llama 2、Code Llama、Mistral、Gemma 等,并允许用户根据特定需求定制和创建自己的模型。 2.支持热切换模型,灵活多变。

可控性:

1.可以本地运行LLM,因此用户可以完全控制自己的数据和隐私。 2.可定制模型参数、数据目录和其他设置。

经济性:

1.与使用云服务相比,本地运行LLM可以更省钱。

离线能力:

1.可让您离线运行LLM,这对于隐私和安全非常重要。

安装Ollama
本次安装环境为:Windows11,当然其他系统也可以支持。

下载Ollama
Ollama下载地址:https://ollama.com/download

image-20240511151054662
安装Ollama
安装也比较方便,双击打开 install

image-20240511151331009
安装完成没有提示,我们打开一个终端,本文以Windows PowerShell为例,大家也可以使用其他的:

image-20240511151503523
现在Ollama已经安装完了,我们需要在终端中输入下方命令运行一个大语言模型进行测试,这里以对在中文方面表现相对好些的千问为例,大家也可以使用其他的模型。

ollama run qwen
image-20240511151819825
安装成功,随便问几个问题。

image-20240511151923267
修改路径
可以看到,系统正在下载qwen的模型(并保存在C盘,C:\Users.ollama\models 如果想更改默认路径,可以通过设置OLLAMA_MODELS进行修改,然后重启终端,重启ollama服务。)

setx OLLAMA_MODELS “D:\ollama\model”
安装Open WebUI
Open WebUI是一个用于在本地运行大型语言模型(LLM)的开源Web界面。

在window下安装docker
1.启动Hyper-v
打开控制面板,在程序与功能页面选择启用或Windows功能

image-20240511153112805
然后,重启计算机。

2.安装WSL
打开 powershell,以管理员的身份启动命令窗口,输入

wsl --update

wsl --install
如果不是已管理员身份启动则会报错:请求的操作需要提升

image-20240511154319596
然后再次重启电脑。

image-20240511172942703
3.下载Docker软件
点击下载链接:https://docs.docker.com/desktop/install/windows-install/

image-20240511153811506
4.安装Docker
image-20240511155742842
使用Docker部署Open WebUI
在Open WebUI的github页面 https://github.com/open-webui/open-webui

可以看到,如果你的Ollama和Open WebUI在同一台主机,那使用下面显示的这一行命令就可以在本地快速进行部署:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
现在我们打开终端,比如powershell,然后输入docker,回车

image-20240511173724816
然后将上边在docker中部署Open WebUI的命令复制后粘贴到终端中,回车。

docker安装open-webui
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
image-20240511173828471
使用Open WebUI
安装完成后,在Docker Desktop中可以看到Open WebUI的web界面地址为:https://localhost:3000

或者内网IP+端口,这样局域网的其他人也可以访问到

image-20240511175350983
注册账号点击 sign up

登录

image-20240511175608965
设置为简体中文
点击右上角的设置,可以修改当前界面的语言为简体中文:然后点击保存即可。

image-20240511175737460
点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,接下来就可以愉快的跟ai聊天了!

image-20240511175902435
使用llama2(3.8G)
在power shell中输入

ollama run llama2
安装完成如图:

image-20240511180531152
在Open WebUI中会新增一个llama2:latest 7B

image-20240511180736354
使用llama3(4.7G)
ollama run llama3
image-20240513110343869
在Open WebUI中会新增一个llama3:latest 8B

image-20240513110414767
image-20240513110526936
使用Mistral(4.1G)
Mistral 7B 是 Mistral AI 发布的 70 亿参数语言模型。 Mistral 7B 是一种精心设计的语言模型,可提供高效和高性能以支持实际应用程序。 由于效率的提高,该模型适用于需要快速响应的实时应用。 发布时,Mistral 7B 在所有评估基准中均优于最佳开源 13B 模型 (Llama 2)。

安装:

ollama run mistral
image-20240513111621060
使用gemma(5.0G)
ollama run gemma
image-20240513112439003
使用qwen:14b(8.2G)
ollama run qwen:14b
image-20240513113857374
结语
安装Ollama完成之后就可以在本地愉快的使用大模型了。

例如支持gemma(谷歌大模型)、llama2(脸书大模型)、qwen(阿里大模型)等70+主流大模型,还在不断增加。

这篇关于本机部署大语言模型:Ollama和OpenWebUI实现各大模型的人工智能自由的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/988618

相关文章

Java实现检查多个时间段是否有重合

《Java实现检查多个时间段是否有重合》这篇文章主要为大家详细介绍了如何使用Java实现检查多个时间段是否有重合,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录流程概述步骤详解China编程步骤1:定义时间段类步骤2:添加时间段步骤3:检查时间段是否有重合步骤4:输出结果示例代码结语作

使用C++实现链表元素的反转

《使用C++实现链表元素的反转》反转链表是链表操作中一个经典的问题,也是面试中常见的考题,本文将从思路到实现一步步地讲解如何实现链表的反转,帮助初学者理解这一操作,我们将使用C++代码演示具体实现,同... 目录问题定义思路分析代码实现带头节点的链表代码讲解其他实现方式时间和空间复杂度分析总结问题定义给定

Java覆盖第三方jar包中的某一个类的实现方法

《Java覆盖第三方jar包中的某一个类的实现方法》在我们日常的开发中,经常需要使用第三方的jar包,有时候我们会发现第三方的jar包中的某一个类有问题,或者我们需要定制化修改其中的逻辑,那么应该如何... 目录一、需求描述二、示例描述三、操作步骤四、验证结果五、实现原理一、需求描述需求描述如下:需要在

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署

部署Vue项目到服务器后404错误的原因及解决方案

《部署Vue项目到服务器后404错误的原因及解决方案》文章介绍了Vue项目部署步骤以及404错误的解决方案,部署步骤包括构建项目、上传文件、配置Web服务器、重启Nginx和访问域名,404错误通常是... 目录一、vue项目部署步骤二、404错误原因及解决方案错误场景原因分析解决方案一、Vue项目部署步骤

如何使用Java实现请求deepseek

《如何使用Java实现请求deepseek》这篇文章主要为大家详细介绍了如何使用Java实现请求deepseek功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1.deepseek的api创建2.Java实现请求deepseek2.1 pom文件2.2 json转化文件2.2

python使用fastapi实现多语言国际化的操作指南

《python使用fastapi实现多语言国际化的操作指南》本文介绍了使用Python和FastAPI实现多语言国际化的操作指南,包括多语言架构技术栈、翻译管理、前端本地化、语言切换机制以及常见陷阱和... 目录多语言国际化实现指南项目多语言架构技术栈目录结构翻译工作流1. 翻译数据存储2. 翻译生成脚本

Linux流媒体服务器部署流程

《Linux流媒体服务器部署流程》文章详细介绍了流媒体服务器的部署步骤,包括更新系统、安装依赖组件、编译安装Nginx和RTMP模块、配置Nginx和FFmpeg,以及测试流媒体服务器的搭建... 目录流媒体服务器部署部署安装1.更新系统2.安装依赖组件3.解压4.编译安装(添加RTMP和openssl模块

如何通过Python实现一个消息队列

《如何通过Python实现一个消息队列》这篇文章主要为大家详细介绍了如何通过Python实现一个简单的消息队列,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录如何通过 python 实现消息队列如何把 http 请求放在队列中执行1. 使用 queue.Queue 和 reque

Python如何实现PDF隐私信息检测

《Python如何实现PDF隐私信息检测》随着越来越多的个人信息以电子形式存储和传输,确保这些信息的安全至关重要,本文将介绍如何使用Python检测PDF文件中的隐私信息,需要的可以参考下... 目录项目背景技术栈代码解析功能说明运行结php果在当今,数据隐私保护变得尤为重要。随着越来越多的个人信息以电子形