论文笔记：Piecewise classifier mappings: Learning FG learners for novel categories with few examples

Piecewise classifier mappings: Learning fine-grained learners for novel categories with few examples

0 摘要

few-shot细粒度分类（FSFG,few-shot fine-grained recognition），用极少样本为新类别建立分类器。

本文提到的网络包括双线性特征学习模块和分类器映射模块。关键是后者分类模块的分段映射"piecewise mapping"函数，它学习一组更多可获得的子分类器来生成决策边界。以元学习的方式学习基于辅助数据集的**“示例-分类器”映射**。

1 引言

旨在从很少的带有标签的训练示例中学习细粒度分类器。

提出了一个端到端可训练网络，包括双线性特征学习模块（将少量样本的区别信息编码进特征向量）和分类器映射模块（学习一组更多可获得的子分类器来生成决策边界）。

高度非线性映射用子向量-子分类器映射来拟合，再将子分类器组合为全局分类器，区分不同类别的样本。基于隐式“部分”的特征到分类器映射可对简单和纯净的信息进行编码，使映射更容易。

piecewise mapping减少了模型参数量，计算效率更高。以元学习方式，使用辅助数据集学习示例-分类器映射。贡献：

1. few-shot设置，提出了一种元学习策略来解决FSFG问题。
2. 名为“piecewise mapping”的示例到分类器映射策略，用BCNN特征以参数很少的方式学习判别式分类器。
3. 充分实验，性能优异

2 相关工作

细粒度分类

区别特征表示、对齐、[无]监督定位等。

通用few-shot图像识别

研究从几个示例中赋予学习系统快速学习新颖类别的能力的可能性。极端的one-shot learning。

learning-to-learn范式、匹配网络、原型网络、回归网络、元学习、与模型无关的元学习方案、训练新颖类别的参数预测器。

few-shot 细粒度图像识别更具挑战。分段映射组件。

3 方法

3.1 学习策略、涉及到的符号

以元学习（meta-learning）框架为基础，将分类器生成过程看作是映射函数（从少数带有类别标签的训练示例到其相应类别分类器，不是类别，是分类器）。

辅助训练集$\mathcal{B}$包含$N$个训练图像 B = { ( I 1 , y 1 ) , . . . , ( I N , y N ) } \mathcal B=\{(\mathcal{I_1},y_1),...,(\mathcal{I_N},y_N)\} B={(I1​,y1​),...,(IN​,yN​)}（${\mathcal{I}}_i$是示例图像， y 1 ∈ { 1 , 2 , . . . , C B } y_1\in\{1,2,...,C_\mathcal{B}\} y1​∈{1,2,...,CB​}是标签）。映射功能学习之后，应用于测试集$\mathcal{N}$评估性能，注意，$\mathcal{N}$中存在$\mathcal{B}$没有的类别（新类别）。

在训练过程中，$\mathcal{E}$将被输入到要学习的映射函数$M$中，以生成类别分类器$F_{\mathcal{E}}$，$\mathcal{E}\to F_{\mathcal{E}}$。$F_{\mathcal{E}}$再应用于$\mathcal{Q}$以评估分类损失（通过损失优化模型是通过查询集而不是示例集），通过最小化分类损失来学习映射功能。形式化表示： min ⁡ λ E E , Q ∼ B { L ( F E ◦ Q ) } \min_λ E_{{\mathcal E,\mathcal Q}\sim \mathcal B}\{\mathcal L(F_\mathcal{E}◦\mathcal Q)\} minλ​EE,Q∼B​{L(FE​◦Q)}，$\lambda$表示映射函数$M$的参数，$\mathcal{L}$是损失函数，$F_{\mathcal{E}}◦\mathcal{Q}$表示将示例集$\mathcal{E}$生成的类别分类器$F_{\mathcal{E}}$应用于查询集$\mathcal{Q}$。

3.2 模型

特征表示

使用BCNN（见论文《Bilinear CNN Models for Fine-grained Visual Recognition），特征图$f_A(\mathcal{I})\in {\mathbb{R}}^{n_A\times L}$和$f_B(\mathcal{I})\in {\mathbb{R}}^{n_B\times L}$的位置向量做向量外积生成特征图，再全局池化生成特征向量$x\in {\mathbb{R}}^{D\times 1},D=n_A\times n_B$。（BCNN论文里面是$f_A^T{f}_B$，这篇论文是$f_A{f}_B^T$，不过基本上差不多）

$x$看作是子向量$x^t$的集合：$x=[x^1;x^2;...;x^t;...;x^{n_B}],\forall t:x^t\in {\mathbb{R}}^{n_A\times 1}$，$x^t$是$f_A$的$f_B$的第$t$个特征的调制特征，类似于注意力机制中的乘法特征交互。（把整个长向量看作$n_B$个$n_A$维短（段）向量）

为了表示一组属于类别$k$的$N_e$样本图像，通过以下方式将平均图像表示形式计算为类别级别表示：
$$X_k=\frac{1}{N_e}\sum _{i=1}^{N_e}{x}_i$$
所有$x_i$对应的$y_i=k$。

分类器映射

该任务是将这些中间类别级别表示形式映射到其相应的类别分类器中。

通过映射$M$计算每个类别的$D$维分类器$F_k\in {\mathbb{R}}^D$，形式化表示：$M:{\mathbb{R}}^D\to {\mathbb{R}}^D$。

朴素方案：线性或非线性全连接映射（原文global mapping）eg,$F_K=W_g{X}_k+b_g$。缺点：拟合困难、参数爆炸

分段映射策略：双线性特征$X_k$可以看作是子向量$X_k^t$的集合，每个子向量都描述了对象的隐式“部分”。可以通过检查对象的每个“部分”是否与示例兼容来测试对象是否属于示例中描述的类别。

做法：将每个子向量$X_t^k$映射到其对应的子分类器$F_k^t$中，然后将子分类器组合在一起以生成全局类别分类器。

$$\begin{gathered} F_k^t=m_{{\varphi }_t}(X_k^t) \\ {F}_k=[F_k^1;F_k^2;...;F_k^{n_B}] \end{gathered}$$
通过对全连接层分段，减少了参数量，容易训练。

这样理解：通过第一个短向量（描述头部）看是否是第一个类别，通过第二个短向量（表示翅膀）看是否是第二个类别……，整合所有结果得到最终预测。

网络训练

查询样本$x$，类别标签$y=c$，预测分布$p_M(y=c|x)=\frac{\exp (F_c\cdot x)}{{\sum }_{c^{\prime }}\exp (F_{c^{\prime }}\cdot x)}$，损失：$\mathcal{J}(x,y)=-\log (p_M(c|x))$。

1. 从$\mathcal{B}$中采样示例集$\mathcal{E}$训练，训练得到分类器$F_{\mathcal{E}}$。
2. 建立查询集，通过最小化$\mathcal{J}(\mathcal{Q})$进行优化。

$\mathcal{E}$用于建立分类器，$\mathcal{Q}$用于优化分类器。

不懂之处

1. 从上面这句话和公式来说，类别数目应该和分类器数目相同，但是按照前面双线性那部分，有多少个分类器，每个分类器维数应该取决于主干网络得到特征图的通道数？
2. 怎么从数据集$\mathcal{B}$应用到数据集$\mathcal{N}$上？可能存在新的类别，怎么保证兼容？

4 实验

4.1 数据集、细节

数据集：cub，dogs，cars。每个数据集分成两个部分$\mathcal{B},\mathcal{N}$（不重叠）。

训练：将示例集$\mathcal{E}$的类别大小设置为与测试集中$\mathcal{N}$的类别数相同。$N_e=1$（$N_e=5$）分别对应few-shot和five-shot，$N_q$都设置为20。

测试：$\mathcal{N}$的每个类别随机选择1或5各示例。随机选择另外20个样本来评估识别性能。重复此评估过程20次，并将平均分类准确性用作评估标准。

AlexNet作为BCNN中的两个流。采用Places 205数据库预先训练AlexNet模型。

首先在辅助训练集上微调双线性特征学习模块，然后在分类器学习过程中冻结。映射函数为三层，其中每层采用1024个隐藏单元，激活函数为指数线性单元，SGD，学习率0.1。

4.2 结果

4.3 消融实验

分段映射vs全连接映射

$m_{{\varphi }_t}$的层数

5 结论

提出了端到端的可训练网络，受BCNN的启发，是为细粒度的few-shot learning量身定制。关键是分段分类器映射模块。

未来方向，使用迁移学习将数据集进行推广。