图文详解：stylegan1 与stylegan2

本文主要是介绍图文详解：stylegan1 与stylegan2，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

• 模式映射网络(Mapping Network):

StyleGAN2中，z是从一个标准正态分布中采样的随机向量，它表示图像的潜在特征¹。z经过一个由8层全连接层组成的映射网络，被转换成一个中间潜在空间W，W空间的向量w可以控制图像的风格信息²。w被复制多份，每份对应一个合成网络的层，然后通过一个仿射变换，扩展为放缩因子和偏差因子

• 输入:512维的随机向量z

• 共8层全连接网络,每层输入和输出形状是:

  • 512 -> 512
  • 512 -> 512
  • 512 -> 512
  • 512 -> 512
  • 512 -> 512
  • 512 -> 512
  • 512 -> 512
  • 512 -> 512(w向量)

• 样式块(Style Block):

• 输入:w向量、特征图map(来自于上一层)、Noise
• w向量控制AdaIN
• 每层包含:3x3卷积、AdaIN、激活函数等
• 输出形状与输入特征图相同

• 生成网络(Synthesis Network):

• 输入常量512 x 4 x 4

• 从4x4逐步上采样到1024x1024:

  • 4x4 -> 8x8
  • 8x8 -> 16x16
  • ......
  • 1024x1024 -> 1024x1024

• 每次上采样接Style Block

1. Const Layer

• 输出尺寸与Synthesis Network每层相匹配的噪声,如:

  • 512 x 4 x 4
  • 512 x 8 x 8
  • 512 x 16 x 16

AdaIN的细节

 

stylegan2修改动机

AdaIN的操作是对每个特征图的通道分别进行均值和方差的归一化，然后再乘以放缩因子和加上偏差因子。这样做的问题是，可能会破坏掉特征之间的相对大小信息，导致生成的图像出现水滴状的伪影¹。

第一次修改 

在开始处移除了一些冗余的操作。
原StyleGAN在网络最开始对constant input做了bias和noise添加以及AdaIN操作,这是冗余的,可以移除。

将bias b和noise B的添加移到style block外面。
原来是在style block内部才加的b和B。现在移到style block外面,可以作用在normalized data上。

只调整每个特征图的standard deviation。
原AdaIN要分别调整mean和std。但作者发现仅调整std也足以达到style控制的效果。

这几点修改的目的是为了后面提出的weight demodulation做准备,使网络结构更加合理清晰。

总之,Revised architecture简化了冗余操作,并让network行为更加可预测。这为后面进一步改进夯实了基础。

第二次修改

Weight Demodulation方法中对特征图(signal)统计信息的假设,主要包括:

1. 输入特征图中各元素相互独立(i.i.d.)
2. 输入特征图元素服从均值为0,标准差为1的分布
3. 卷积后输出特征图的标准差等于卷积核L2范数的平方根
4. 卷积核L2范数反映了style modulation的影响
5. 将卷积核按L2范数归一化,可以消除style modulation带来的影响

从 Revised architecture 到 Weight demodulation 的改进主要有以下步骤:

分析style block中的运算流程:
在Revised architecture中,style block包含Modulation、Convolution和Normalization三个步骤。

理解modulation的等效实现:
Modulation可以看作是缩放convolution weights:

w' = s ⊙ w

其中s是style,w和w'分别是原始和调制后的weights。

直接对weights进行Normalization:
可以跳过modulation层和normalization层,

直接对weights做类似normalization的调整:

w'' = w' / std(w')

std(w')可以看作是modulation s的影响。这样可以直接得到其效果。

合并为weight demodulation:
上面步骤合并起来就是weight demodulation,可以替代原来的Mod-Conv-Norm步骤。

这样可以避免normalization对feature map的影响,移除artifacts。

的形状是一个标量，也就是一个单个的数值，它是由一个全连接层从W空间的潜码映射得到的³。的作用是将风格向量的信息融合到卷积核中，从而实现风格迁移⁴。
 

 

 “configuration E” 和“configuration F”

 

这篇关于图文详解：stylegan1 与stylegan2的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---