GAN：WGAN前作

2023-12-01 03:36
文章标签 gan wgan 前作

本文主要是介绍GAN：WGAN前作，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

WGAN前作：有原则的方法来训练GANs

论文：https://arxiv.org/abs/1701.04862

发表：ICLR 2017

本文是wgan三部曲的第一部。文中并没有引入新的算法，而是标是朝着完全理解生成对抗网络的训练动态过程迈进理论性的一步。

文中基本是理论公式的推导，看起来确实头大，偷懒就直接阅读网上整理好的资料了，参考

1：译文

2：生成模型(一):GAN - 知乎

3：令人拍案叫绝的Wasserstein GAN - 知乎

梯度消失

文章花了大量的篇幅进行数学推导，证明在一般的情况，如果Discriminator训练得太好，Generator就无法得到足够的梯度继续优化，而如果Discriminator训练得太弱，指示作用不显著，同样不能让Generator进行有效的学习。这样一来，Discriminator的训练火候就非常难把控，这就是GAN训练难的根源。

实验验证：基于DCGAN，分别训练1、10、25epoch，固定Generator，然后从头开始训练Discriminator，绘制出Generator目标函数梯度和训练迭代次数的关系如下。可以看到，经过25 epochs的训练以后，Generator得到的梯度已经非常小了，出现了明显的梯度消失问题。

梯度不稳定

实验验证：基于DCGAN，分别训练1、10、25epoch，固定Generator，然后从头开始训练Discriminator，绘制出梯度信息。可以看出更有明显的梯度方差较大的缺陷，导致训练的不稳定。在训练的早期（训练了1 epoch和训练了10 epochs），梯度的方差很大，对应的曲线看起来比较粗，直到训练了25 epochs以后GAN收敛了才出现方差较小的梯度。

本文的解决方案： 添加噪声

为增加两个概率分布创造更高的重叠机会，一种解决方案是在判别器的输入上添加连续噪声.

这篇关于GAN：WGAN前作的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/439641。

相关文章

生成对抗网络（GAN网络）

生成对抗网络（GAN网络）

Generative Adversarial Nets 生成对抗网络GAN交互式可视化网站 1、GAN 基本结构 GAN 模型其实是两个网络的组合： 生成器（Generator） 负责生成模拟数据； 判别器（Discriminator） 负责判断输入的数据是真实的还是生成的。 生成器要不断优化自己生成的数据让判别网络判断不出来，判别器也要优化自己让自己判断得更准确。 二者关系形成
阅读更多...
深度学习--对抗生成网络（GAN, Generative Adversarial Network）

深度学习--对抗生成网络（GAN, Generative Adversarial Network）

对抗生成网络（GAN, Generative Adversarial Network）是一种深度学习模型，由Ian Goodfellow等人在2014年提出。GAN主要用于生成数据，通过两个神经网络相互对抗，来生成以假乱真的新数据。以下是对GAN的详细阐述，包括其概念、作用、核心要点、实现过程、代码实现和适用场景。 1. 概念 GAN由两个神经网络组成：生成器（Generator）和判别器（D
阅读更多...
基于 AC 驱动的电容结构 GaN LED 模型开发和应用

基于 AC 驱动的电容结构 GaN LED 模型开发和应用

随着芯片尺寸减小，微小尺寸GaN 基 Micro LED 显示面临着显示与驱动高密度集成的难题，传统直流（DC）驱动技术会导致结温上升，降低器件寿命。南京大学团队创新提出交流（AC）驱动的单电极 LED（SC-LED）结构【见图1】，利用隧穿结（TJ）降低器件的交流工作电压。为了深入理解该器件的工作原理，我司技术团队开发了基于 AC 驱动的物理解析模型，揭示了隧穿结降低器件工作电压的
阅读更多...
深入理解GAN网络

深入理解GAN网络

Generative Adversarial Networks创造性地提出了对抗训练来代替人工指定的loss。之前的文章初步理解了一下，感觉还是不到位，在这里再稍微深入一点。 交叉熵cross entropy 鉴别器是GAN中重要的一部分，鉴别器和生成器交替训练的过程就是adversarial training的过程。而鉴别器的本质是一个二分类网络，所以要理解gan loss，就首先要熟悉二分
阅读更多...
WGAN 算法

WGAN 算法

因为要进行 MinMax 操作，所以 GAN 是很不好训练的。我们接下来介绍一个 GAN 训练的小技巧，就是著名的Wasserstein GAN（Wasserstein Generative Adversarial Network）。在讲这个之前，我们分析下JS散度有什么问题。首先，JS散度的两个输入PG 和Pdata 之间的重叠部分往往非常少。这个其实也是可以预料到的，我们从不同
阅读更多...
深度学习实战4--GAN进阶与优化

深度学习实战4--GAN进阶与优化

GAN  的问题主要有两点：Loss 等于0的梯度消失问题和梯度不稳定以及多样性受损。 前者是因为选择的分布函数使用JS 距离，这个距离不能衡量两个不相交的分布的距离；后者是因为Loss  函数要求KL 距离最小，JS 距离最大，所以梯度不稳定，而且 Loss 函数对正确率要求太大，多样性要求小，所以会造成模型选择大量生成“安全”的“数字1”来降低Loss函数。
阅读更多...
深度学习-生成模型：Generation（Tranform Vector To Object with RNN）【PixelRNN、VAE(变分自编码器)、GAN(生成对抗网络)】

深度学习-生成模型：Generation（Tranform Vector To Object with RNN）【PixelRNN、VAE(变分自编码器)、GAN(生成对抗网络)】

深度学习-生成模型：Generation（Tranform Vector To Object with RNN）【PixelRNN、VAE（变分自编码器）、GAN（生成对抗网络）】 一、Generator的分类二、Native Generator (AutoEncoder's Decoder)三、PixelRNN1、生成句子序列2、生成图片3、生成音频：WaveNet4、生成视频：Video
阅读更多...
Attentation-GAN for super-resolution(ASRGAN )

Attentation-GAN for super-resolution(ASRGAN )

Attenatation-GAN for super-resolution(ASRGAN) 1 简单介绍：       目前的SR方法解决的都是小尺寸的数据小于500px，本文提出的是针对大尺寸的数据比如大于2000px的商业数据。本文的创新之处： 提出一种新奇的使用注意力机制的SRGAN方法，叫做A-SRGAN,他是吸收了SAGAN的思想，然后哩由于处理的是大尺度的数据，所以
阅读更多...
六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步

六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步

六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步 生成对抗网络的评估目前仍以定性评估和一些可靠性较差的指标为主，这阻碍了问题的细化，并具有误导性的风险。本文讨论了多个 GAN 评估指标，并从多个方面对评估指标进行了实验评估，包括 Inception Score、Mode Score、Kernel MMD、Wasserstein 距离、Fréchet Inception Dis
阅读更多...
GAN：数据生成的魔术师

GAN：数据生成的魔术师

GAN：数据生成的魔术师 在数据科学的世界中，生成对抗网络（GAN）是一种革命性的工具，它能够生成高质量、逼真的数据。GAN由两个关键部分组成：生成器（Generator）和判别器（Discriminator）。生成器的目标是产生尽可能逼真的数据，而判别器则努力区分真实数据和生成器产生的数据。这种对抗过程推动了两个网络的性能不断提升，最终能够生成难以区分真假的数据。 GAN的工作原理 GAN
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2