2016-CVPR-FCN in the Wild 论文学习笔记

目录

1.介绍

 2.详解

(1)Lda:

(2)Lmi:

①存在约束：

②大小约束：

 3.代码（待填坑）

《Fcns in the wild：pixel-level adversarial and constraint-based adaption》

1.介绍

这篇文章发表于 2016 年cvpr，是最早把域自适应⽤到语义分割当中的论文。文章主要针对domain shift 的问题。⼀种是全局域偏移，⽐如说在合成的游戏场景和真实场景之间的差异， 导致特征空间的边际分布产⽣偏移。⼀种是特定类型的偏移，⽐如说两个城市的路标外观不同，所以产⽣了偏移。下⾯这张图⽚来⾃《Learning from Synthetic Data: Addressing Domain Shift for Semantic Segmentation》（2018cvpr），主要说明了 domain shift 的定义。

网络模型如下：

简单介绍：

首先第⼀步就是⽤源域的图像和标注对模型进⾏训练。然后解决全局域偏移的问题， 选取了在预测前的最后⼀层特征层，通过源域和目标域的对抗学习，进行特征对齐，来最小化两个域特征层的偏差。然后是特定类别的对齐，采用的是 MI Loss（L_mi（第i个类别的具体参数）是某一个具体类别的参数的适应），对图片中类别是否存在进⾏判断，突出存在的类别，抑制不存在的类别的存在（存疑）。

图⽚中这个class size distribution 说的是对于有标注的源域，针对某⼀个 c,它统计了c 的像素数⽬占整体像素数数目的⽐例，然后排序，计算平均值。把类别 c 的尺寸大小约束在平均值和前百分之 10最⼤值中。

 2.详解

(1)Lda:

设φl−1(θ， I)表示根据网络参数θ进行像素预测前最后一层的输出。然后，我们的领域对抗性损失Lda(IS, IT)由交替最小化目标组成。

一种是关于表示空间的参数θ，在该参数下，我们想要最小化观测源和目标的距离，对于给定的距离函数d(·)，min d(φ l−1(θ， IS)， φ l−1(θ， IT)。

第二种是通过训练域分类器来估计距离函数，以区分源域和目标域的实例。我们将域分类器参数表示为θD。然后，我们试图学习一个域分类器来识别源和目标区域之间的差异，并使用该分类器来指导源和目标表示的距离最小化。

迭代优化这两个目标，即学习相关图像区域的最佳可能的域分类器(Eq(6))，然后利用该域分类器的损失来通知图像表示的训练，从而最小化源和目标域之间的距离(Eq(7))。

(2)Lmi:

修改类别特定的网络参数进一步适应我们的源模型。该算法引入了一个完全卷积约束的多实例学习objective。这项工作使用“大小和存在”约束（constrain）产生一个预测的目标标记，用于进一步训练。

①存在约束：

MIL LOSS（出自于另外一篇文章）（ICLR2015年上的《Fully Convolutional Multi-Class Multiple Instance Learning》。弱监督语义分割 ｜ 使用图片类别进行图像分割之MIL Loss (baidu.com)）

使用图像级别的标注进行语义分割。

②大小约束：

计算每个源域图像标记（label）统计数据PLS，具体来说，对于包含类c的每个源图像，我们计算具有该类对应的GT标签的图像像素的百分比。（该类所占大小的百分比）.这些百分比上计算一个直方图，并表示低的10%为下边界αc，平均值为δc，和高的10%为上边界γc.然后，我们可以使用这个分布来inform我们的目标域大小限制，从而显式地将场景布局信息从源传输到目标域。

例如，在驾驶场景中，道路通常占据图像的很大一部分，而街道标识占据相对较少的图像空间。这一信息对于约束多实例学习过程至关重要。对输出预测映射施加了以下约束：p = arg max φ(θ, IT ).这样标记为c类的图像的百分比就在源域中观察到的预期范围内，实际上，我们用松弛的下界来优化这个目标，以允许出现异常情况，即c在图像中所占的面积比源域的平均值要少。然而，我们不允许在上界约束上有松弛，因为不允许单个类占用任何给定图像的太多空间。注意，我们更新的约束是通用的，可以等价地应用于所有类，不管它们是否符合传统的instance概念(如自行车或人)或things概念(如天空或植被)。存在问题是大类别会过拟合。

我们使用一个简单的大小约束，即如果源类分布的 αc大于0.1，那么我们将这些类的梯度降低0.1倍。这种重新加权的方法可以被视为class的重新抽样，以便更接近一个平衡的集合，使相对较小的class有可能被inform到目标函数。首先预测图像级标签，然后优化像素预测，满足源传输类的大小约束。给定目标图像IT，我们计算输出类预测，p = arg max φ(θ， IT)。对于每个类，我们计算当前预测中分配给该类的像素的百分比dc。最后，如果dc > 0.1 * αc，我们分配一个图像级标签给类c，这意味着我们当前标记的像素，至少为图像中出现的真实类的预期数量的10%。（这里是给的区域吗？需要看一下代码）

 3.代码（待填坑）

参考：语义分割-FCNs in the wild: Pixel-level adversarial and constraint-based adaptation 对抗方法实现不同数据集语义分割_HheeFish的博客-CSDN博客FCNs in the Wild: Pixel-level Adversarial and Constraint-based Adaptation_odss的博客-CSDN博客