本文主要是介绍模型蒸馏(distillation)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
大size的teacher模型，训练的样本，最后一层softmax之前的logits，当作student模型的训练目标，损失函数是2个向量的距离；
原理：logits包含更多的信息，比label(也就是1-hot vector)的信息量更大；
student也可以加上对teacher中间层feature的学习；（模型size不同的话，不好办）
一般是先训练完毕teacher模型，再开始训student模型；
也有两者同时一起训练的；
知识蒸馏：
通过很多prompts，把GPT-4的answer记录下来；用于训练自己的大模型；
这篇关于模型蒸馏(distillation)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
