CVPR2022 Oral：GAN监督的密集视觉对齐

1 引言

 该论文发表于CVPR2022，主要是关于GAN监督学习在密集视觉对齐中的应用，并且论文代码已经开源。在该论文中作者提出了一种用于端到端联合学习的GAN生成数据的框架。受到经典方法的启发，论文中作者联合训练一个空间变换器，将随机样本从基于未对齐数据训练的GAN映射到共同的、联合学习的目标模式。实验展示了8个数据集上的结果（如下图所示），可以直观的发现该论文的方法成功地对齐了复杂数据，并发现了图像中密集的对应关系。GANgealing的性能明显优于过去的自监督算法，在多个数据集上的性能与最先进的监督算法相当（有时甚至超过），另外作者也展示了论文中的算法在增强现实、图像编辑和图像数据集的自动预处理方面的应用。

论文链接： https://arxiv.org/abs/2112.05143
论文代码： https://www.github.com/wpeebles/gangealing
视频代码： https://www.youtube.com/watch?v=Qa1ASS_NuzE

2 GAN监督学习

 在该论文中，作者提出了一种GAN监督学习的算法。在该算法框架下，$(\mathbf{x},\mathbf{y})$对是从一个预训练的GAN中采样得来的，并用这些数据对训练一个神经网络$f_{\theta }:\mathbf{x}\to \mathbf{y}$，损失函数为
$$\mathcal{L}(f_{\theta },\mathbf{y})=\ell (f_{\theta }(\mathbf{x}),\mathbf{y})$$其中$\ell$为重构损失，在最原始的监督学习中，$f_{\theta }$是在固定的数据对$(\mathbf{x},\mathbf{y})$中进行学习，但是在该论文中，$f_{\theta }$和目标$\mathbf{y}$是联合端到端学习的，在测试时，评估神经网络$f_{\theta }$是用真实的输入。随着$G$训练成熟，作者从非对齐分布数据分布$x=G(\mathbf{w})$中进行采样，其中$\mathbf{w}\sim \mathcal{W}$且$\mathcal{W}$表示的是隐空间分布。

2.1 密集可视化对齐

 该论文的作者将他们的算法称之为GANgealing，算法的具体示意图如上所示。GANgealing首先在未对齐的输入数据集上训练生成模型$G$，其中生成器$G$的输入的隐向量为$\mathbf{w}\in {\mathbb{R}}^{512}$。当$G$训练时，可以从非对齐的分布中生成样本即$\mathbf{x}=G(\mathbf{w})$，其中$\mathbf{w}\sim \mathcal{W}$且$\mathcal{W}$表示的是隐向量空间分布。考虑一个固定的隐向量$\mathbf{c}\in {\mathbb{R}}^{512}$，该向量对应一个固定的合成图片$G(\mathbf{c})$。一个很简单的想法是去使用$G(\mathbf{c})$当做目标模式$\mathbf{y}$，即$\mathbf{y}=G(\mathbf{c})$，其中空间转换器$T$需要利用非对齐样本进行训练。作者可以通过优化关于$T$的参数和目标图片隐向量$\mathbf{c}$的联合损失函数：$${\mathcal{L}}_{\mathrm{a}\mathrm{l}\mathrm{i}\mathrm{g}\mathrm{n}}(T,\mathbf{c})=\ell (T(G(\mathbf{w})),G(\mathbf{c}))$$其中$\ell$表示的是两张图片之间的距离。通过最小化关于目标隐向量$\mathbf{c}$的损失函数$\mathcal{L}$，GANgealing可以鼓励$\mathbf{c}$找到一个使得$T$工作更容易的姿势。如果当前$\mathbf{c}$的数值对应的姿态不能由大多数图片通过$T$被预测出来，则需要通过梯度下降法调整隐向量$\mathbf{c}$。
 提高生成器生成质量一个简单合理的方法是限制数据集的多样性，然而由于显著外观和姿态的变化的存在，这会导致期望每一个非对齐图片能够精确对齐目标图片是非常不合理的。因此，由下图可知，优化以上损失函数并不会有好的生成效果。可是对每一个随机采样图片$G(\mathbf{w})$代替使用目标$G(\mathbf{c})$，此时如果能够构造一个在样本目标中保持外观，并且姿态和物体方向大体一致的图像的时候，则生成效果质量会高很多。

 给定$G(\mathbf{w})$，作者通过设定$\mathbf{w}$向量的一部分生成相应的目标。令混合向量$(\mathbf{c},\mathbf{w})\in {\mathbb{R}}^{512}$是隐向量，通过采样新的$\mathbf{w}$向量，可以产生一个无限的数据对池，其中输入是非对齐图像$\mathbf{x}=G(\mathbf{w})$，目标$\mathbf{y}=G(\mathrm{m}\mathrm{i}\mathrm{x}(\mathbf{c},\mathbf{w}))$有外观$G(\mathbf{w})$的信息，但是姿态是固定的。此时损失函数可以表示为$${\mathcal{L}}_{\mathrm{a}\mathrm{l}\mathrm{i}\mathrm{g}\mathrm{n}}(T,\mathbf{c})=\ell (T(G(\mathbf{w})),G(\mathrm{m}\mathrm{i}\mathrm{x}(\mathbf{c},\mathbf{w})))$$其中$\ell$表示的是感知损失函数。在该论文中，作者生成器$G$选择的是StyleGAN2，其它的生成器结构也可以在该框架中使用，StyleGAN2的优势在于它有高质量强大的风格混合生成能力，作者可以通过使用风格混合来构造每一个样本目标$G(\mathrm{m}\mathrm{i}\mathrm{x}(\mathbf{c},\mathbf{w}))$，其中$\mathbf{c}$主要用于粗略的控制物体的姿态，$\mathbf{w}$主要用于控制物体的纹理轮廓，具体的定性结果由上图像可知。为了更好的提高生成质量，作者使用空间转换器$T$去实现相似性变换，这其中就包含旋转，归一化，水平和垂直移动等。当时用空间转换$T$时，增加一个${\mathcal{L}}_{\mathrm{T}\mathrm{V}}$损失函数可以使得训练过程中更加平滑，具体的损失函数为$${\mathcal{L}}_{\mathrm{T}\mathrm{V}}(T)={\mathcal{L}}_{\mathrm{H}\mathrm{u}\mathrm{b}\mathrm{e}\mathrm{r}}({\Delta }_x\mathbf{g})+{\mathcal{L}}_{\mathrm{H}\mathrm{u}\mathrm{b}\mathrm{e}\mathrm{r}}({\Delta }_y\mathbf{g})$$其中${\mathcal{L}}_{\mathrm{H}\mathrm{u}\mathrm{b}\mathrm{e}\mathrm{r}}$表示Huber损失函数，${\Delta }_x$和${\Delta }_y$分别表示关于$x$和$y$的偏导数。另外作者还是用了损失函数${\mathcal{L}}_1(T)=\Vert \mathbf{g}{\Vert }_2^2$作为正则化项。

 更新参数$\mathbf{c}$的时候，作者并不是利用反向传播直接到$\mathbf{c}$，而是利用了将$\mathbf{c}$表示为$\mathcal{W}$空间中的$N$个主要方向的线性组合，具体公式如下所示$$\mathbf{c}=\bar{\mathbf{w}}+\sum _{i=1}^N{\alpha }_i{\mathbf{d}}_i$$其中$\bar{\mathbf{w}}$表示的是$\mathbf{w}$的实际平均向量，${\mathbf{d}}_i$表示的是第$i$个主成分方向，${\alpha }_i$表示对应的系数。代替直接优化$\mathcal{L}$中的向量$\mathbf{c}$，作者优化的参数是 { α i } i = 1 N \{\alpha_i\}_{i=1}^N {αi​}i=1N​。最终GANgealing的损失函数如下所示$$\mathcal{L}(T,\mathbf{c})={\mathbb{E}}_{\mathbf{w}\sim \mathcal{W}}[{\mathcal{L}}_{\mathrm{a}\mathrm{l}\mathrm{i}\mathrm{g}\mathrm{n}}(T,\mathbf{c})+{\lambda }_{\mathrm{T}\mathrm{V}}{\mathcal{L}}_{\mathrm{T}\mathrm{V}}(T)+{\lambda }_I{\mathcal{L}}_I(T)]$$其中作者在论文中会将${\lambda }_{\mathrm{T}\mathrm{V}}$的数值会设置为$1000$或者是$2500$，损失权重${\lambda }_I$会设置为$1$。

3 联合对齐和聚类

 GANgealing可以处理多模式的数据，并且GANgealing可以通过简单地学习多个目标隐向量$\mathbf{c}$来适应聚类算法。令$K$表示希望学习的聚类的数量。由于每个$\mathbf{c}$捕获数据中的特定模式，多个 { c k } k = 1 K \{{\bf{c}}_k\}^K_{k=1} {ck​}k=1K​即为多个模式。每个${\mathbf{c}}_k$将学习自己对应的$\alpha$系数集。类似地，现在有$K$个空间变换器，每个模式对应一个。GANgealing的这种变体相当于同时对数据进行聚类，并学习每个聚类中所有图像之间的对应关系，具体的公式如下所示$${\mathcal{L}}_{\mathrm{a}\mathrm{l}\mathrm{i}\mathrm{g}\mathrm{n}}^K(T,\mathbf{c})=\underset{k}{\min }{\mathcal{L}}_{\mathrm{a}\mathrm{l}\mathrm{i}\mathrm{g}\mathrm{n}}(T_k,{\mathbf{c}}_k)$$
在该论文中，作者训练使用标准交叉熵函数在数据对$(G(\mathbf{w}),k^{\ast })$上训练分类器。作者用$T$上的权重初始化分类器，代替随机初始化。虽然训练成本会比较高，但是空间转换器$T$和分类器的泛化效果很好。

4 实验结果

 如果下图所示是一个非常有趣的小应用为使用GANgealing进行图像编辑的效果图。通过在每个类别中只注释一幅图像，用户可以将其编辑传播到同一类别中的任何图像或视频，本文的链接视频里有使用GANgealing图像编辑更生动的展示。

 如下表所示为定量的结果，作者使用标准${\alpha }_{\mathrm{b}\mathrm{b}\mathrm{o}\mathrm{x}}=0.1$阈值，在下表中显示了论文的方法在具有在挑战性的SPair-71K数据集上与几种自监督和最先进的监督方法进行比较结果。可以发现GANgealing在几个类别上显著优于先验自监督方法，GANgealing在多个类别上的表现与最先进的监督方法不相上下，甚至优于这些方法。

 下图显示了不同簇的密集对应结果。对于每个簇顶行显示该簇的未对齐真实图像；中间一行显示了GANgealing学习的输入图像转换。最下面一行显示了图像之间的密集对应关系。可以发现GANgealing进行密集视觉对齐的效果很，能够准确的将目标图像定位并进行标注。