AI大眼萌探索 AI 新世界:Ollama 使用指南【1】

2024-06-23 00:52

本文主要是介绍AI大眼萌探索 AI 新世界:Ollama 使用指南【1】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在人工智能的浪潮中,Ollama 的出现无疑为 Windows 用户带来了一场革命。这款工具平台以其开创性的功能,简化了 AI 模型的开发与应用,让每一位爱好者都能轻松驾驭 AI 的强大力量。大家好,我是AI大眼萌,今天我们将带大家了解这款工具平台。

🤖 什么是 Ollama?

Ollama 不仅仅是一个 AI 和 ML (Machine Learning)工具平台,它是技术社区中的一股清流,以其直观高效的工具,让 AI 模型的开发变得触手可及。无论是资深专家还是新手,都能在 Ollama 上找到自己的舞台。

🌟Ollama优势

在 AI 工具的海洋中,Ollama 以其独特优势脱颖而出:

  • 🔧 自动硬件加速:智能识别并利用最优硬件资源,简化配置,提升效率。
  • 🚫 无需虚拟化:告别复杂环境配置,直接投身于 AI 项目的开发。
  • 📚 接入丰富模型库:从 Lamma3到 qwen2,Ollama 的模型库应有尽有。
  • 🔗 Ollama 的常驻 API:简化 AI 功能与项目对接,提升工作效率。

🛠️ Ollama Windows使用指南

下面是如何在 Windows 上使用 Ollama 的详细指南:

步骤 1:下载与安装

  • 访问 Ollama Windows Preview页面,下载安装程序。

  • 双击运行,一键安装。
    在这里插入图片描述

步骤 2:启动与模型获取

  • 启动 Ollama

    Usage:ollama [flags]ollama [command]
    Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any command启动ollama服务:   ollama serve
    
  • 使用命令行加载模型,开始你的 AI 之旅。

    ollama run [modelname]
    ollama run gemma:2b
    

    在这里插入图片描述

执行以上命令后,Ollama 将开始初始化,并自动从 Ollama 模型库中拉取并加载所选模型。一旦准备就绪,就可以向它发送指令,它会利用所选模型来进行理解和回应。

在这里插入图片描述

  • 记得将modelname名称换成要运行的模型名称,常用的有:
ModelParametersSizeDownload
Qwen2 7B7B4.5Gollama run qwen:7b
Qwen2 72B72B41Gollama run qwen:72b
Llama 38B4.7GBollama run llama3
Llama 370B40GBollama run llama3:70b
Phi 3 Mini3.8B2.3GBollama run phi3
Phi 3 Medium14B7.9GBollama run phi3:medium
Gemma2B1.4GBollama run gemma:2b
Gemma7B4.8GBollama run gemma:7b
Mistral7B4.1GBollama run mistral
Moondream 21.4B829MBollama run moondream
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
LLaVA7B4.5GBollama run llava
Solar10.7B6.1GBollama run solar

模型存储在哪里?如需更换地点,可以参考环境配置章节

  • macOS: ~/.ollama/models
  • Linux: /usr/share/ollama/.ollama/models
  • Windows: C:\Users\%username%\.ollama\models

步骤 3:模型应用

在这里插入图片描述

步骤 4:API 连接

将 AI 功能整合到你的应用中,Ollama API 是关键。

默认端口为11434

在这里插入图片描述

Ollama Linux 使用指南

步骤 1:下载与安装

curl -fsSL https://ollama.com/install.sh | sh

在这里插入图片描述

步骤 2:启动与模型获取

ollama serve
ollama run [modelname]

在这里插入图片描述

步骤 3与4: 与之前一致。

Ollama 环境变量设置

在Linux上设置环境变量

如果Ollama作为systemd服务运行,通过systemctl设置环境变量:

  1. 使用systemctl edit ollama.service命令编辑systemd服务,将打开一个编辑器。

  2. 对每个环境变量,在[Service]部分添加一行Environment:

  3. [Service]

    Environment="OLLAMA_HOST=:8000" #要更改侦听地址和端口,可以环境变量:

  4. 保存并退出。

  5. 重新加载systemd并重启Ollama:

systemctl daemon-reload
systemctl restart ollama

在Windows上设置环境变量

在Windows上,Ollama会继承您的用户和系统环境变量。

1. 首先通过任务栏图标退出Ollama,
2. 从控制面板编辑系统环境变量,
3. 为OLLAMA_HOST、OLLAMA_MODELS等编辑或新建变量。a、要更改侦听地址和端口,可以添加以下环境变量:变量名:OLLAMA_HOST变量值(端口)::8000b、要更为debug模式,可以添加以下环境变量:变量名:OLLAMA_DEBUG变量值(端口):1  c、模型存储位置要更为指定路径变量名:OLLAMA_MODELS变量值(端口):指定的路径 
4. 点击OK/Apply保存,

使用代理服务器访问Ollama?

Ollama运行一个HTTP服务器,可以通过代理服务器,比如Nginx,进行公开。具体操作方法是配置代理转发请求,并可选设置所需的头部(如果不在网络上公开Ollama)。例如,使用Nginx配置如下:

  server {listen 80;server_name 192.168.70.1;  location / {proxy_pass http://localhost:11434;proxy_set_header Host localhost:11434;}}

使用python调用ollama

1、安装依赖库

pip install ollama langchain_community langchain  

2、测试代码

import ollama 
response =ollama.chat(model='qwen2:7b',messages=[{'role':'user','content':'中国的首都在哪里'},
])
print(response['message']['content'])

在这里插入图片描述

3、简单的人机交互界面

import ollama 
def get_completion(prompt):response =ollama.chat(model='qwen2:7b',messages=[{'role':'user','content':prompt},])return response['message']['content'].strip()while True:user_input = input("你: ")if user_input.lower() == '退出':print("聊天结束。")breakprint("\n机器人: 正在处理你的请求...")response = get_completion(user_input)print("机器人:", response)

结语

通过本教程,我们学习了 Ollama的简单安装与使用,让我们一起探索、实践、创新!
如果您发现这篇文章对您有所启发或帮助, 请不吝赐赞,为我【点赞】、【转发】、【关注】,带你一起玩转AI !

全网ID|AI大眼萌

这篇关于AI大眼萌探索 AI 新世界:Ollama 使用指南【1】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1085873

相关文章

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.

Kotlin 作用域函数apply、let、run、with、also使用指南

《Kotlin作用域函数apply、let、run、with、also使用指南》在Kotlin开发中,作用域函数(ScopeFunctions)是一组能让代码更简洁、更函数式的高阶函数,本文将... 目录一、引言:为什么需要作用域函数?二、作用域函China编程数详解1. apply:对象配置的 “流式构建器”最

SpringBoot配置Ollama实现本地部署DeepSeek

《SpringBoot配置Ollama实现本地部署DeepSeek》本文主要介绍了在本地环境中使用Ollama配置DeepSeek模型,并在IntelliJIDEA中创建一个Sprin... 目录前言详细步骤一、本地配置DeepSeek二、SpringBoot项目调用本地DeepSeek前言随着人工智能技

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Linux上设置Ollama服务配置(常用环境变量)

《Linux上设置Ollama服务配置(常用环境变量)》本文主要介绍了Linux上设置Ollama服务配置(常用环境变量),Ollama提供了多种环境变量供配置,如调试模式、模型目录等,下面就来介绍一... 目录在 linux 上设置环境变量配置 OllamPOgxSRJfa手动安装安装特定版本查看日志在

Ollama Python 使用小结

《OllamaPython使用小结》Ollama提供了PythonSDK,使得开发者能够在Python环境中轻松集成和使用本地运行的模型进行自然语言处理任务,具有一定的参考价值,感兴趣的可以了解一... 目录安装 python SDK启动本地服务使用 Ollama 的 Python SDK 进行推理自定义客

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)

《国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)》本文给大家利用deepseek模型搭建私有知识问答库的详细步骤和遇到的问题及解决办法,感兴趣的朋友一起看看吧... 目录1. 第1步大家在安装完ollama后,需要到系统环境变量中添加两个变量2. 第3步 “在cmd中

2025最新版Python3.13.1安装使用指南(超详细)

《2025最新版Python3.13.1安装使用指南(超详细)》Python编程语言自诞生以来,已经成为全球最受欢迎的编程语言之一,它简单易学易用,以标准库和功能强大且广泛外挂的扩展库,为用户提供包罗... 目录2025最新版python 3.13.1安装使用指南1. 2025年Python语言最新排名2.

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2