【人工智能】本地搭建AI模型Gemma

2024-03-10 11:12

本文主要是介绍【人工智能】本地搭建AI模型Gemma,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 前言
  • 一、安装条件
  • 二、安装ollama
    • 优化存储路径(不用优化也行)
    • ollama命令详解:
    • 模型命令详解:
  • 三、安装WebUi
    • windows安装不了docker解决
    • 测试


前言

最近看到google的gemma模型很火,因为模型较小对于但功能强大,大模型虽然很好但对于我们普通人来说过于遥远,不管是训练的token来说还是模型的复杂度,小模型都比不上,但是小模型的对于我们的训练成本没有那么高但是可以体验到不一样的感觉。

一、安装条件

最低条件:
2B版本需要2G显存
7B版本需要4G显存
7B的其他版本需要更大
7B我这里使用3050 Laptop测试可以运行但生成速度很慢

二、安装ollama

下载ollama:
https://ollama.com/download
直接安装
在这里插入图片描述
安装完成后启动:
使用windows键+R打开运行窗口:

ollama 或者ollama help

在这里插入图片描述

优化存储路径(不用优化也行)

ollama有个问题是没有选择路径,导致我们如果使用windows下载会下载到c盘中容易c盘爆满,现在来优化这个问题:设置》系统》高级系统设置》环境变量》新建系统变量

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
名称OLLAMA_MODELS路径给到自己创建新建文件夹:
在这里插入图片描述
如果打开了程序重新启动即可生效

ollama命令详解:

命令注释:

serve: 启动 ollama,用于提供模型服务。
create: 从模型文件创建一个模型。
show: 显示模型的信息。
run: 运行一个模型。
pull: 从注册表中拉取一个模型。
push: 将一个模型推送到注册中心
list: 列出模型。
cp: 复制一个模型。
rm: 删除一个模型。
help: 获取有关任何命令的帮助。

常用命令:

ollama run 模型名称:版本          
ollama run gemma:2b

在这里插入图片描述
模型lib:https://ollama.com/library/
这里选择版本copy命令直接粘贴命令即可下载:
在这里插入图片描述
如果优化了存储路径直接可以在文件夹下看到下载的模型
在这里插入图片描述

完成后直接可以对话了:
在这里插入图片描述
这里运行的2b(版本来看应该是3B)的模型,因为我显卡比较垃圾返回速度比较慢:
在这里插入图片描述

模型命令详解:

/set: 设置会话变量。
/show: 显示模型信息。
/load : 加载一个会话或模型。
/save : 保存当前会话。
/bye: 退出。
/?, /help: 获取命令的帮助。
/? shortcuts: 获取键盘快捷键的帮助。

这里的命令会/bye退出就行

到这里模型已经可以正常运行和返回了

三、安装WebUi

项目地址:https://github.com/open-webui/open-webui

使用docker安装:

docker run -d -p 8080:8080 -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

这里我已经拉取过镜像了如果没拉取这里也会直接拉取的:
在这里插入图片描述启动后访问:http://127.0.0.1:8080/auth/

windows安装不了docker解决

如果windows没有安装docker可以使用虚拟机Linux安装只需要在调用的时候将API换成本地的地址即可OLLAMA_API_BASE_URL=http://192.168.10.1:11434/api
在这里插入图片描述
我这里是windows已经有docker了直接访问本地:
在这里插入图片描述
随便注册一个号:
在这里插入图片描述
注册完成后直接登录:
在这里插入图片描述
这里选择下载的模型:
在这里插入图片描述
在这里插入图片描述

测试

这里的测试不是严格意义上准确:

在运行2b时花费接近2G显存,回复速度很快,但明显有一些问题如理解问题能力不够:
在这里插入图片描述

在运行3B时花费2.5G显存回复速度很慢:回答效果还行

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
7B版本
在这里插入图片描述

在这里插入图片描述

这篇关于【人工智能】本地搭建AI模型Gemma的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/794054

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验