[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案

本文主要是介绍[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

https://github.com/sramshetty/ShortGPT/tree/main

My剪枝方案（暂定）：

        剪枝目标：1.5B —> 100～600M

        剪枝方法：

                层粒度剪枝

                1、基于BI分数选择P%的冗余层，P=60~80

                2、对前N%冗余层，直接删除full layer。N=20（N：剪枝崩溃临界点，LLaMA2在45%，Mistral-7B在35%，Qwen在20%，Phi-2在25%）

                对后(P-N)%冗余层，删除attention layer。

                参考：

这篇关于[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---