【人工智能】本地搭建AI模型Gemma

2024-03-10 11:12

本文主要是介绍【人工智能】本地搭建AI模型Gemma,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 前言
  • 一、安装条件
  • 二、安装ollama
    • 优化存储路径(不用优化也行)
    • ollama命令详解:
    • 模型命令详解:
  • 三、安装WebUi
    • windows安装不了docker解决
    • 测试


前言

最近看到google的gemma模型很火,因为模型较小对于但功能强大,大模型虽然很好但对于我们普通人来说过于遥远,不管是训练的token来说还是模型的复杂度,小模型都比不上,但是小模型的对于我们的训练成本没有那么高但是可以体验到不一样的感觉。

一、安装条件

最低条件:
2B版本需要2G显存
7B版本需要4G显存
7B的其他版本需要更大
7B我这里使用3050 Laptop测试可以运行但生成速度很慢

二、安装ollama

下载ollama:
https://ollama.com/download
直接安装
在这里插入图片描述
安装完成后启动:
使用windows键+R打开运行窗口:

ollama 或者ollama help

在这里插入图片描述

优化存储路径(不用优化也行)

ollama有个问题是没有选择路径,导致我们如果使用windows下载会下载到c盘中容易c盘爆满,现在来优化这个问题:设置》系统》高级系统设置》环境变量》新建系统变量

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
名称OLLAMA_MODELS路径给到自己创建新建文件夹:
在这里插入图片描述
如果打开了程序重新启动即可生效

ollama命令详解:

命令注释:

serve: 启动 ollama,用于提供模型服务。
create: 从模型文件创建一个模型。
show: 显示模型的信息。
run: 运行一个模型。
pull: 从注册表中拉取一个模型。
push: 将一个模型推送到注册中心
list: 列出模型。
cp: 复制一个模型。
rm: 删除一个模型。
help: 获取有关任何命令的帮助。

常用命令:

ollama run 模型名称:版本          
ollama run gemma:2b

在这里插入图片描述
模型lib:https://ollama.com/library/
这里选择版本copy命令直接粘贴命令即可下载:
在这里插入图片描述
如果优化了存储路径直接可以在文件夹下看到下载的模型
在这里插入图片描述

完成后直接可以对话了:
在这里插入图片描述
这里运行的2b(版本来看应该是3B)的模型,因为我显卡比较垃圾返回速度比较慢:
在这里插入图片描述

模型命令详解:

/set: 设置会话变量。
/show: 显示模型信息。
/load : 加载一个会话或模型。
/save : 保存当前会话。
/bye: 退出。
/?, /help: 获取命令的帮助。
/? shortcuts: 获取键盘快捷键的帮助。

这里的命令会/bye退出就行

到这里模型已经可以正常运行和返回了

三、安装WebUi

项目地址:https://github.com/open-webui/open-webui

使用docker安装:

docker run -d -p 8080:8080 -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

这里我已经拉取过镜像了如果没拉取这里也会直接拉取的:
在这里插入图片描述启动后访问:http://127.0.0.1:8080/auth/

windows安装不了docker解决

如果windows没有安装docker可以使用虚拟机Linux安装只需要在调用的时候将API换成本地的地址即可OLLAMA_API_BASE_URL=http://192.168.10.1:11434/api
在这里插入图片描述
我这里是windows已经有docker了直接访问本地:
在这里插入图片描述
随便注册一个号:
在这里插入图片描述
注册完成后直接登录:
在这里插入图片描述
这里选择下载的模型:
在这里插入图片描述
在这里插入图片描述

测试

这里的测试不是严格意义上准确:

在运行2b时花费接近2G显存,回复速度很快,但明显有一些问题如理解问题能力不够:
在这里插入图片描述

在运行3B时花费2.5G显存回复速度很慢:回答效果还行

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
7B版本
在这里插入图片描述

在这里插入图片描述

这篇关于【人工智能】本地搭建AI模型Gemma的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/794054

相关文章

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

在java中如何将inputStream对象转换为File对象(不生成本地文件)

《在java中如何将inputStream对象转换为File对象(不生成本地文件)》:本文主要介绍在java中如何将inputStream对象转换为File对象(不生成本地文件),具有很好的参考价... 目录需求说明问题解决总结需求说明在后端中通过POI生成Excel文件流,将输出流(outputStre

SpringBoot配置Ollama实现本地部署DeepSeek

《SpringBoot配置Ollama实现本地部署DeepSeek》本文主要介绍了在本地环境中使用Ollama配置DeepSeek模型,并在IntelliJIDEA中创建一个Sprin... 目录前言详细步骤一、本地配置DeepSeek二、SpringBoot项目调用本地DeepSeek前言随着人工智能技

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

OpenManus本地部署实战亲测有效完全免费(最新推荐)

《OpenManus本地部署实战亲测有效完全免费(最新推荐)》文章介绍了如何在本地部署OpenManus大语言模型,包括环境搭建、LLM编程接口配置和测试步骤,本文给大家讲解的非常详细,感兴趣的朋友一... 目录1.概况2.环境搭建2.1安装miniconda或者anaconda2.2 LLM编程接口配置2

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总

Linux搭建Mysql主从同步的教程

《Linux搭建Mysql主从同步的教程》:本文主要介绍Linux搭建Mysql主从同步的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux搭建mysql主从同步1.启动mysql服务2.修改Mysql主库配置文件/etc/my.cnf3.重启主库my

国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)

《国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)》本文给大家利用deepseek模型搭建私有知识问答库的详细步骤和遇到的问题及解决办法,感兴趣的朋友一起看看吧... 目录1. 第1步大家在安装完ollama后,需要到系统环境变量中添加两个变量2. 第3步 “在cmd中