立体匹配网络中的domain adaptation问题：AdaStereo

概述

• 希望讨论的问题是什么？
  以PSMNet为例，其在Middlebury数据集上进行预训练得到的模型，在KITTI上的推理效果或许就不好。这篇文章就想聊聊怎么去处理不同场景下的模型的适应问题。又或者说，模型的泛化问题。

• 参考论文及相关信息为：
  
  是商汤2020年的工作。

• 论文的效果怎么样？
  

• 能否简要概述是怎么解决的问题？
  假定现在有两个数据集，一个是合成数据集，数据量非常大，另一个是真实场景数据集，数据量相对小很多，文章认为这两个数据集之间的gap主要在于以下几个层面：

  1. input image

  1. “At the input image level, color and brightness are the obvious gaps.”
  2. 通过提出一个 non-adversarial progressive color transfer算法将输入的color space与target影像的场景进行对齐，这个过程通过网络训练完成。

  2. internal cost volume

  3. ‘…significant differences in distributions’
  4. 使用了cost normalization 层，用于配准cost distribution。主要使用了两个归一化操作：channel normalization以及pixel normalization

  3. output disparity

  5. ‘Moreover, geometries of the output disparity maps are inconsistent as well’
  6. self- supervised occlusion-aware reconstruction,

提出了AdaStereo，旨在构建一个标准的场景自适应网络，网络结构为：

已知：

1. 作为source的大量合成数据集 $(I_s^t,I_s^r)$
2. 合成数据集的真实视差 $\widehat{d_s^l}$
3. 作为target的少量真实数据集$(I_t^l,I_t^r)$

希望的推理输出：

1. 真实场景的视差$d_t^l$

损失函数

整体的损失函数为：
$L=L_s^{main}+{\lambda }_s^{occ}{L}_s^{occ}+{\lambda }_t^{ar}{L}_t^{ar}+{\lambda }_t^{occ}{L}_t^{occ}+{\lambda }_t^{sm}{L}_t^{sm}$
其中的$\lambda$为对应的loss weights。

损失函数中的五项具体为：

1. source domain层面的视差回归loss：
   $$L_s^{main}=Smoot{h}_{L1}(d_s^l-\widehat{d_s^l})$$

2. 在souce domain层面的occlusion mask训练损失，使用binary cross entropy loss：
   $$L_s^{occ}=BCE(O_s^l,\widehat{O_s^l})$$

3. 在target domain层面，the occlusion-aware appearance reconstruction loss：
   $\begin{array}{rl}{L}_t^{ar}=& \alpha \frac{1-SSIM\left(I_t^l\odot \left(1-O_t^l\right),\overline{I_t^l}\odot \left(1-O_t^l\right)\right)}{2}\\ & +(1-\alpha ){\Vert I_t^l\odot \left(1-O_t^l\right)-\overline{I_t^l}\odot \left(1-O_t^l\right)\Vert }_1\end{array}$

   其中，$\odot$表示逐元素的乘法，SSIM表示simplified single scale SSIM项（3*3的block filter），以及$\alpha$设置为0.85。

4. 在target domain中，在occulusion mask上使用$L1$正则项:
   $$L_t^{occ}=||O_t^l|{|}_1$$

5. 在target-domain上，使用edge-aware项作为target-domain中的视差平滑项，其中$\partial$表示gradient,
   $L_t^{sm}=\left|{\partial }_x{d}_t^l\right|e^{-|{\partial }_x{I}_t^l|}+\left|{\partial }_y{d}_t^l\right|e^{-|{\partial }_y{I}_t^l|}$