本文主要是介绍ICD-Face:用于人脸识别的类内紧致蒸馏算法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
ICD-Face: Intra-class Compactness Distillation for Face Recognition
摘要
在ICD-Face中，首先提出计算教师和学生模型的相似度分布，然后引入特征库来构造足够多的高质量的正对。然后，估计教师和学生模型的概率分布，并引入相似性分布一致性（SDC）损失来提高学生模型的类内紧致性。
网络模型
ICD-Face，其中包含用于FR提取的特征一致性提取（FCD）和类内紧凑性提取（ICD）。
首先，在大规模数据集上训练教师模型。然后，在学生模型的提取过程中，提取每个人脸图像的教师和学生模型的基础上的特征嵌入。在FCD中，基于特征嵌入的L2距离计算特征一致性蒸馏（FCD）损失Lfcd。同时，在ICD中，首先根据从当前批次中提取的特征和特征库中存储的特征生成正对。然后，计算相似性分布的一致性损失，以提高学生模型的相似性分布的类内紧凑性。
特征一致性提取
类内紧密蒸馏
（1）相似性分布生成
（2）相似性分布一致性
采用KL散度DKL来约束学生和教师模型之间的相似性分布，其定义为以下相似性分布一致性（SDC）损失：
总损失：
这篇关于ICD-Face:用于人脸识别的类内紧致蒸馏算法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
