本文主要是介绍CV-笔记-增量学习incremental learning,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
又是一种深度学习的学习策略。
自然学习(Natural learning)系统本质上是渐进的,新知识是随着时间的推移而不断学习的,而现有的知识是保持不变的。现实世界中的许多计算机视觉应用程序都需要增量学习能力。例如,人脸识别系统应该能够在不忘记已学过的面孔的情况下添加新面孔。然而,大多数深度学习方法都存在灾难性的遗忘——当无法获得过去的数据时,性能会显著下降。
旧类数据的缺失带来了两个挑战:(a)维护旧类的分类性能; (b)平衡旧类和新类。知识蒸馏已被用来有效地解决前一个挑战。最近的研究也表明,从旧的类中选择几个样本(抽样) 可以缓解不平衡问题。这些方法在小数据集上运行良好。然而,当类的数量变得很大(例如,成千上万个类)时,它们的性能会显著下降。图1显示了以非增量分类器为参考的这些最先进算法的性能退化情况。当类的数量从100增加到1000时,iCaRL和EEIL都有更多的精度下降。
为什么处理大量的类进行增量学习更具挑战性? 我们认为这是由于两个因素的耦合。首先,训练数据不平衡。其次,随着类数量的增加,在不同的增量步骤中更可能出现类似的类(例如ImageNet中的多个dog类)。在数据不平衡的增量约束下,视觉上相似的类数量的增加尤其具有挑战性,因为类之间边界的小边界对数据不平衡过于敏感。边界被推到支持具有更多示例的类。
引用
- Large Scale Incremental Learning
这篇关于CV-笔记-增量学习incremental learning的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!