本文使用NST特征蒸馏实现deeplabv3+模型对剪枝后模型的蒸馏过程； 一、NST特征蒸馏简介 下面是两张叠加了热力图（heat map）的图片，从图中很容易看出这两个神经元具有很强的选择性：左图的神经元对猴子的脸部非常敏感，右侧的神经元对字符非常敏感。这种激活实际上意味着神经元的选择性，即什么样的输入可以触发这些神经元。换句话说，一个神经元高激活的区域可能共享一些与任务相关的相似特性，而这种

文章目录 摘要最终结论模型ResNet18， ResNet34CoatNet 数据准备训练Teacher模型步骤导入需要的库定义训练和验证函数定义全局参数图像预处理与增强读取数据设置模型和Loss 学生网络步骤导入需要的库定义训练和验证函数定义全局参数图像预处理与增强读取数据设置模型和Loss 蒸馏学生网络步骤导入需要的库定义训练和验证函数定义全局参数图像预处理与增强读取数据设置模型和L