本文主要是介绍一个月获得 9000 Star! 这个开源项目牛!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Ollama 是一个轻量级、可扩展的大模型框架,这个开源项目能帮助你在本地电脑上玩转和运行大语言模型。
如果你的电脑没有 GPU 也是能使用的,只不过大模型会使用 CPU 计算慢一些。
第一步 部署
Ollama 支持 macOS、Windows 预览版和 Linux 系统。你可以直接去开源项目的主页去找最新的部署方式:github.com/ollama
或者使用 Docker 来快速启动 Ollama。此外,Ollama还提供了Python 和 JavaScript 库,方便开发者集成到自己的项目中。
macOS
下载链接:github.com/ollama/ollama#macos
Windows预览版
下载链接:github.com/ollama/ollama#windows-preview
Linux
安装命令:
curl -fsSL https://ollama.com/install.sh | sh
Docker
Ollama 的官方 Docker 镜像可在 Docker Hub 上找到,名为`ollama/ollama`。
第二步 下载模型
Ollama支持一系列模型,可以去 ollama.com/library 去下载,例如 Llama 3、Gemma、Mistral和国内的千问等模型都支持,具有不同的参数和大小,用户可以根据需要下载和运行。
下载完成,你就能在本地电脑上随意的切换和使用你下载的大模型了。
第三步 运行模型
你可以打开命令行,使用使用 ollama run 命令运行模型,比如:
$ ollama run gemma:2b
执行这个命令会启动 Ollama REPL,你可以在其中与 Gemma 2B 模型进行交互。以下是示例:
第四步:Web 界面
如果你不喜欢在命令行的窗口使用大模型,推荐你使用 Ollama WebUI ,启动后你可以看到一个干净、直观的界面,类似于 ChatGPT 的界面。
开源地址:https://github.com/open-webui/open-webui
推荐阅读
1. GitHub 上有什么好玩的项目?
2. 推荐 5 个本周很火的 GitHub 项目
3. 推荐 5 个近期火火火的 GitHub 项目
4. 推荐 5 个令人惊艳的 GitHub 项目
这篇关于一个月获得 9000 Star! 这个开源项目牛!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!