2021-05-30 MUNIT学习

论文来源：

ECCV 2018，代码地址： https://github.com/nvlabs/MUNIT

学习笔记：

主要是想要从图像源域生成不同的输出，文章提出了一个多模态无监督图像到图像的转换框架，无监督也就是说我们不给定成对的数据集。
文章假设图像表示可以分解为域不变的内容代码和捕获特定于域的属性的样式代码。为了将图像转换为另一个域，我们将其内容代码与从目标域的样式空间采样的随机样式代码重新组合。
原来，如果采用有监督的，我们是给定的是成对的数据集，即既有源域的图片又有目标域的图片，我们可以使用条件生成模型或者是简单回归模型就可以进行风格的转换。

前提假设：假设图像的潜在空间，可以分解为内容空间和风格空间。
假设不同领域的图像共享一个共同的内容空间，但不共享样式空间。

为了将图像转换到目标域，我们将其内容代码与目标样式空间中的随机样式代码重新组合，注意这里是（目标样式空间中的随机的样式进行组合，所以可以得到不同的输出。）通过抽样不同的样式代码，我们的模型能够产生多样化和多模态输出。
文章提出的共享潜在空间，就是说一张图是由C（共享潜在空间的内容代码）和 自己的样式代码 S 决定的，换句话说，由x1= G∗1(c, s1)和x2= G∗2(c, s2)从联合分布中生成一对对应的图像(x1, x2)，其中c, s1, s2来自某些以前的分布，而G∗1,G∗2是底层的生成器。我们进一步假定G∗1和G∗2是确定性函数，它们的逆编码器E∗1= (G∗1)−1和E∗2= (G∗2)−1。我们的目标是学习神经网络的底层生成器G和编码器函数。请注意，尽管编码器和解码器是确定性的，但由于s2的依赖性，p(x2|x1)是一个连续分布。

模型概述：

损失：



我们建立了框架的一些理论性质,证名了当我们提出的 loss 达到最小值的时候，需要符合以下要求:
(1)在编码和生成的过程中，对 latent 分布进行匹配
(2)由我们的框架引起的两个联合图像分布的匹配
(3)执行弱形式的循环一致性约束(也就是循环一致性 loss 占比不能太高了吧-猜测
（这里自己不懂，所以参考的的是原文链接：https://blog.csdn.net/weixin_43013761/article/details/105310913）

学习时间：

提示：这里可以添加计划学习的时间
例如：
1、 周一至周五晚上 7 点—晚上9点
2、 周六上午 9 点-上午 11 点
3、 周日下午 3 点-下午 6 点

自我总结：

提示：这里统计学习计划的总量
例如：
1、 技术笔记 2 遍
2、CSDN 技术博客 3 篇
3、 学习的 vlog 视频 1 个