Meta-Learning to Detect Rare Objects (2019 ICCV)

1. 出处

2021 ICCV
卡耐基梅隆大学

2. 问题

当前对于小样本学习的研究主要关注小样本分类问题，小样本检测具有挑战而且尚未被探索。也有一些researcher将小样本分类方法用于小样本检测，但效果不够理想。

3. 解决方案

提出了一个基于元学习的框架，能够同时解决小样本分类和定位问题。该框架利用base classes的元知识来促进novel classes检测器的生成。作者的insight就是解决基于CNN的检测模型中类别不可知的和特定类别的组件，利用不同的元学习策略优化不同的组件。

category-agnostic：神经网络较浅层的参数很多类别是共享的，因此是类不可知的。

category-specific：较高层的神经网络，他们的参数是类特定的。

作者把Faster RCNN学到的特征和RPN作为类别不可知的组件，这些参数是base classes和novel classes共享的。分类器和bbox回归器是类别特定的，把参数中的dynamics（动力学）视为base classes和novel classes共享的。

作者提出了一个权重预测元模型，在模型参数空间上进行训练，利用小样本参数来预测类别large-sample bbox检测参数。

4. 模型

设计了小样本检测模型MetaDet，在Faster RCNN基础上构建的。

（1）模型的训练方式

采用元学习的方式，采样一个个的小任务（episode）。在元训练阶段，每类随机选取K个bbox标注，训练每个类别对应的检测器。

（2）作者的目标是基于base class数据集和novel class数据集估计检测器的参数θ，θ由类不可知的和特定类的组件组成，作者的框架就是要利用检测模型中参数生成的元知识，利用专门的元策略用于不同类型的组件。

category-specific参数不能够直接在base和novel classes中迁移，他们如何从在小数聚集上训练的参数转变为在大数据集上训练的参数，这样的dynamics pattern可以表达成通用的类不可知的转变。

因此作者提出了参数化的权重预测元模型通过元训练过程来学习这种转变。

（3）权重预测元模型

• large-sample base dataset
  学习检测网络最后几层的class-specific权重
• k-shot episode dataset sampled from base dataset
  学习对应的权重
  权重预测元模型就是：让小样本检测任务中的权重向large-sample的权重回归

（4）元学习的过程

元训练+元测试

• 元训练
  分为两个阶段，category-agnostic and category-specific各自对应一个阶段

  • 第一个阶段
    训练基于大量样本的检测器，在整个S_train数据集上。其中基础检测器部分可以用于novel classes和class-specific组件
  • 第二个阶段
    小样本episode检测，利用第一阶段训练好的large-sample基础检测器生成k-shot检测器。冻结category-agnostic参数，重新训练category-specific参数。

• 元测试
  为了训练k-shot novel检测器，初始化category-agnostic参数为（参照原文中的表达），随机初始化category-specific参数。