如何拥有自己私有化部署的大模型?Mac下部署Ollama并使用llama3.1模型的方法详解

本文主要是介绍如何拥有自己私有化部署的大模型?Mac下部署Ollama并使用llama3.1模型的方法详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

😄啥是Ollama

Ollama 是一个开源的、专为本地环境设计的轻量级、可扩展框架,用于构建和运行大型语言模型(LLMs)。它允许用户在本地机器上部署和运行语言模型,无需依赖外部服务器或云服务,从而提高数据处理的隐私性和安全性。

简单来解释就是,Ollama是一个框架,可以用来在本地运行各种开源大模型,很方便。

🍆如何安装Ollama

首先,来到Ollama的官方网站:

Ollama

网页相当简洁,点击下载就可以了。

选择你的操作系统,这里选择macos,当然如果你是windows,就选择windows,然后下载。

下载完成后,解压缩,就可以得到一只小羊驼。

双击Ollama图标,会弹窗,点击“打开”就好。

之后会提示你,Ollama放在应用目录下运行效果比较好,为了保证兼容性或者不出一些奇奇怪怪的bug,我这里建议选择 “move to applications”.他会自动把这个应用复制一份到应用目录下。

点击Next。 

点击install进行安装即可。 

弹窗出来的页面,这里需要点击命令行右侧的小图标,复制这行命令。点击“finish”完成。 

这个时候,你会发现任务栏多了一只小羊驼

但这个时候,其实还没有安装模型,你需要手动安装一下模型。

找到你电脑上的应用-》终端,打开:

粘贴你刚才复制的命令,然后回车,系统会开始下载模型:

耐心等待即可,这里可能需要一些魔法。

当然,如果你网络断了,这个也是支持断点续传的,下次网络好了接着下载就可以。

如果你电脑配置特别棒,希望用更强的模型,那么也可以到官网下载别的模型:

然后在列表中选择你喜欢的模型:

然后选择你喜欢的版本:

 点击右边的复制小图标,复制命令行,并在终端执行,就可以下载对应的模型并使用了。

安装完成就可以在命令行愉快的对话了,不过前提是你的mac性能得好一点🤏

✨写在最后

如果对comfyui还不熟悉的话,最近面向ComfyUI的新手,写了一门系统性入门图文课程,现在已经更新完成了,内容主要包括如何下载软件、如何搭建自己的工作流、关键基础节点讲解、遇到报错怎么解决等等,如果大家在学习过程中遇到什么问题,也可以直接对应的文章下留言,会持续更新相关答疑内容哈。欢迎订阅哦~

https://blog.csdn.net/jumengxiaoketang/category_12683612.html

​​

感谢大家的支持~

这篇关于如何拥有自己私有化部署的大模型?Mac下部署Ollama并使用llama3.1模型的方法详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1106436

相关文章

使用Python将JSON,XML和YAML数据写入Excel文件

《使用Python将JSON,XML和YAML数据写入Excel文件》JSON、XML和YAML作为主流结构化数据格式,因其层次化表达能力和跨平台兼容性,已成为系统间数据交换的通用载体,本文将介绍如何... 目录如何使用python写入数据到Excel工作表用Python导入jsON数据到Excel工作表用

MySQL中的交叉连接、自然连接和内连接查询详解

《MySQL中的交叉连接、自然连接和内连接查询详解》:本文主要介绍MySQL中的交叉连接、自然连接和内连接查询,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、引入二、交php叉连接(cross join)三、自然连接(naturalandroid join)四

Pytest多环境切换的常见方法介绍

《Pytest多环境切换的常见方法介绍》Pytest作为自动化测试的主力框架,如何实现本地、测试、预发、生产环境的灵活切换,本文总结了通过pytest框架实现自由环境切换的几种方法,大家可以根据需要进... 目录1.pytest-base-url2.hooks函数3.yml和fixture结论你是否也遇到过

Go 语言中的select语句详解及工作原理

《Go语言中的select语句详解及工作原理》在Go语言中,select语句是用于处理多个通道(channel)操作的一种控制结构,它类似于switch语句,本文给大家介绍Go语言中的select语... 目录Go 语言中的 select 是做什么的基本功能语法工作原理示例示例 1:监听多个通道示例 2:带

mysql的基础语句和外键查询及其语句详解(推荐)

《mysql的基础语句和外键查询及其语句详解(推荐)》:本文主要介绍mysql的基础语句和外键查询及其语句详解(推荐),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋... 目录一、mysql 基础语句1. 数据库操作 创建数据库2. 表操作 创建表3. CRUD 操作二、外键

Spring Boot项目部署命令java -jar的各种参数及作用详解

《SpringBoot项目部署命令java-jar的各种参数及作用详解》:本文主要介绍SpringBoot项目部署命令java-jar的各种参数及作用的相关资料,包括设置内存大小、垃圾回收... 目录前言一、基础命令结构二、常见的 Java 命令参数1. 设置内存大小2. 配置垃圾回收器3. 配置线程栈大小

鸿蒙中Axios数据请求的封装和配置方法

《鸿蒙中Axios数据请求的封装和配置方法》:本文主要介绍鸿蒙中Axios数据请求的封装和配置方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.配置权限 应用级权限和系统级权限2.配置网络请求的代码3.下载在Entry中 下载AxIOS4.封装Htt

鸿蒙中@State的原理使用详解(HarmonyOS 5)

《鸿蒙中@State的原理使用详解(HarmonyOS5)》@State是HarmonyOSArkTS框架中用于管理组件状态的核心装饰器,其核心作用是实现数据驱动UI的响应式编程模式,本文给大家介绍... 目录一、@State在鸿蒙中是做什么的?二、@Spythontate的基本原理1. 依赖关系的收集2.

Python基础语法中defaultdict的使用小结

《Python基础语法中defaultdict的使用小结》Python的defaultdict是collections模块中提供的一种特殊的字典类型,它与普通的字典(dict)有着相似的功能,本文主要... 目录示例1示例2python的defaultdict是collections模块中提供的一种特殊的字

C++ Sort函数使用场景分析

《C++Sort函数使用场景分析》sort函数是algorithm库下的一个函数,sort函数是不稳定的,即大小相同的元素在排序后相对顺序可能发生改变,如果某些场景需要保持相同元素间的相对顺序,可使... 目录C++ Sort函数详解一、sort函数调用的两种方式二、sort函数使用场景三、sort函数排序