0x0. 前言 本文主要是对FastLLM做了一个简要介绍，展示了一下FastLLM的部署效果。然后以chatglm-6b为例，对FastLLM模型导出的流程进行了解析，接着解析了chatglm-6b模型部分的核心实现。最后还对FastLLM涉及到的优化技巧进行了简单的介绍。 0x1. 效果展示 按照 https://github.com/ztxz16/fastllm 中 README教程

介绍： GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端

1，关于 fastllm 项目 https://www.bilibili.com/video/BV1fx421k7Mz/?vd_source=4b290247452adda4e56d84b659b0c8a2 【fastllm】学习框架，本地运行，速度还可以，可以成功运行chatglm2模型 https://github.com/ztxz16/fastllm 🚀 纯c++实