本文主要是介绍基于PaddlePaddle的飞桨论文解读：StarGAN v2: Diverse Image Synthesis for Multiple Domains，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
目录
摘要
StarGAN v2网络架构
实验
1.Baselines
2.数据集
3.评价指标
实验结果分析
1.个别成分分析
2.多种图像合成方法的比较
结论
模型代码（model.py）
主体代码（main.py）
总结
摘要
一个好的图像到图像的翻译模型应该学习不同视觉域之间的映射，同时满足以下特性：1）生成图像的多样性 2）多域的可伸缩性。现有的方法解决了这两个问题中的任何一个，其多样性有限，或者所有领域都有多个模型。我们提出了starganv2，一个单一的框架，它可以同时处理这两个问题，并在基线上显示出显著改进的结果。在CelebAHQ和一个新的动物面孔数据集（AFHQ）上的实验验证了我们在视觉质量、多样性和可扩展性方面的优势。为了更好地评估图像到图像的转换模型，我们发布了AFHQ，高质量的动物脸，具有较大的域间和域内差异。
StarGAN v2网络架构
- Generator
- Mapping network
- Style encoder
- Discriminator
实验
1.Baselines
我们使用MUNIT、DRIT和MSGAN作为Baselines，它们都学习两个域之间的多模映射。对于多域比较，我们为每对图像域多次训练这些模型。我们还将我们的方法与StarGAN进行了比较，StarGAN使用单个生成器学习多个域之间的映射。所有Baselines都是使用作者提供的实现进行训练的。
2.数据集
我们评估CelebA HQ上的StarGAN v2和我们新的AFHQ数据集，我们将CelebAHQ分为两个领域：雄性和雌性；AFHQ分为三个领域：猫、狗和野生动物。除域名标签外，我们不使用任何附加信息（如CelebA HQ的面部特征或AFHQ的品种），并让模型在没有监督的情况下学习样式等信息。为了公平比较，所有的图像都被调整到256×256分辨率，这是baseline中使用的最高分辨率。
3.评价指标
我们使用Frechet inception distance (FID)和learning perceptual image patch similarity (LPIPS)来评估生成图像的视觉质量和多样性。我们为数据集中的每对图像域计算FID和LPIPS，并报告它们的平均值。
实验结果分析
1.个别成分分析
使用CelebA-HQ来评估添加到baseline的StarGAN中的单个成分。表格给出了几种配置的FID和LPIPS，其中每个组件都是在StarGAN上累积添加的。每个配置的输入图像和相应生成的图像如图所示。baseline设置对应于StarGAN的基本设置，使用WGAN-GP、ACGAN鉴别器、深度级联为生成器提供目标域信息。如图所示，通过在输入图像上应用化妆品，原始StarGAN只产生一个局部变化。
我们首先通过用多任务鉴别器替换ACGAN鉴别器来改进baseline，允许生成器转换输入图像的全局结构，并且通过应用R1正则化并将深度连接转换为自适应实例规范化（AdaIN），进一步提高了训练的稳定性并构造了一个新的基线（C）。
2.多种图像合成方法的比较
- 潜在引导合成
CelebAHQ与baseline模型相比，我们的方法合成的图像具有更高的视觉质量。此外，我们的方法是唯一能够成功地改变源图像的整个发型的模型，这需要非常大的努力（例如生成耳朵）。对于变化较大的AFHQ，基线的性能大大降低，而我们的方法仍然可以生成高质量和多样化的图像。
- 参考指导合成
从目标域中抽取测试图像，并将它们馈送给每种方法的编码器网络。对于CelebA HQ，我们的方法成功地渲染了独特的样式（例如刘海、胡须、化妆品和发型），而其他方法大多与参考图像的颜色分布相匹配。对于更具挑战性的AFHQ，baseline模型会经历一个大的域转移。它们很难反映每个参考图像的风格，只与域匹配。相比之下，该模型渲染每个参考图像的不同风格（例如品
这篇关于基于PaddlePaddle的飞桨论文解读：StarGAN v2: Diverse Image Synthesis for Multiple Domains的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
