本文主要是介绍M2 运行 llamafile，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
安装llamafile很简单，进入官网，按照步骤安装运行即可。
https://github.com/Mozilla-Ocho/llamafile
- 下载 llava-v1.5-7b-q4.llamafile
- 赋予运行权限chmod +x llava-v1.5-7b-q4.llamafile
- 运行 ./llava-v1.5-7b-q4.llamafile -ngl 9999
速度确实是比 ollama 快，ollama 用 qwen 1.5 7B 的模型。llamafile运行的是LLaVA 1.5，也是 7B 模型。下次试试能不能把 qwen 模型接入。
运行时遇到了一个问题
the cpu feature AVX was required at build time but isn’t available on this system，解决这个问题，首先用 arm64 的 shell，然后用 root 启动 llamafile。
arch -arm64 sh
su
./llava-v1.5-7b-q4.llamafile -ngl 9999
这篇关于M2 运行 llamafile的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
