别人家的高中生：入大学前，Ta详细梳理了GAN的发展脉络

2024-06-17 15:58
文章标签 ta gan 高中生 脉络 梳理 详细 大学 别人 发展

本文主要是介绍别人家的高中生：入大学前，Ta详细梳理了GAN的发展脉络，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

https://www.jiqizhixin.com/articles/19062302

https://blog.floydhub.com/gans-story-so-far/

有人「高考」完还在学习，说出来你可能不信。

昨天，reddit 上出现了一个关于梳理 GAN 发展脉络的博客，作者在博客中详细梳理了过去几年的 GAN 发展历程，包含众多 SOTA 论文及其代码和对应的学习资源。难能可贵的是，博客作者三月份才刚高中毕业，然后利用上大学之前的时间完成了这篇文章。

目前，作者已被伊利诺伊大学香槟分校（University of Illinois at Urbana-Champaign）录取并将于今年秋天入学。

如果你是一名 GAN 的入门学习者，那么这份材料可以帮你迅速理 GAN 发布以来的研究进展。

博客地址：https://blog.floydhub.com/gans-story-so-far/

作者在梳理过程中发现，GAN 的确是一个发展迅速的领域，短短五年就从模糊的灰度像素阵列发展到高度逼真的生成图像，让人无法一眼识别是真是假。

但领域越火，「水」论文的人可能就越多，因此从众多所谓「SOTA」论文中挑出真正做出实质性改进的「SOTA」就显得非常有必要。

一位读者在看完博客后表示，「比起那些最新 SOTA 文章，我更欣赏这种回顾性质的 SOTA 梳理……经常有人抱怨说，有些人只是对 GAN 进行了微小的调整，在 SOTA 基础上前进了一小步，然后就把论文发出去了，并声称『这是最新的 SOTA！』。这其实只是对别人研究的一种重复。因此，如果有更多这种 SOTA 的回顾性文章，就可以过滤掉那些水论文。通过这种回顾可以更加容易地评价那些新出现的研究。」

从 GAN 到 StyleGAN

首先，作者以发展路线图的形式梳理了这几年出现的比较有影响力的 GAN，从最初的 Goodfellow 版 GAN 到近来大火的 BigGAN、StyleGAN 等，博客的后续内容也是按照这张图的顺序进行的。

GAN 路线图。

Goodfellow 版 GAN

GAN 是由 Goodfellow 等人于 2014 年提出的（目前公认的说法）。其基本思想可以概括为：

GAN 包含两个神经网络，一个神经网络尝试生成真实的数据（主要是图片，也可能是其他数据的分布），而另一个网络尝试判别真实的和生成的数据。

标准的生成对抗网络结构。

这场「猫捉老鼠」的游戏会一直继续下去，直到系统达到所谓的「平衡」，即生成器生成的数据以假乱真到判别器无法判别。

Goodfellow 等人 2014 年提出的 GAN 生成的图像。

  • 论文地址：https://arxiv.org/abs/1406.2661

  • 代码实现地址：https://github.com/goodfeli/adversarial

  • 其他资源：https://arxiv.org/abs/1701.00160

DCGAN: 深度卷积生成对抗网络

DCGAN 的思路可以简单概括为：

  • 卷积神经网络=处理图像效果好

  • 生成对抗网络=生成数据效果好

  • ⟹卷积神经网络+生成对抗网络=生成图像效果好

标准的 GAN 使用多层感知机作为网络结构。但是考虑到卷积神经网络在获取图像特征方面的效果，DCGAN 采用了它作为主要网络结构。同时，DCGAN 稍微做了一些调整，使用了转置卷积操作（transposed convolution operation），它的另一个名字是 Deconvolution。转置卷积帮助图像从低清晰度向高清晰度转换，同样的，采用多层转置卷积可以使图像变得生动多彩。

卷积核的工作原理。通过卷积方式将稀疏的图像矩阵转换为密集矩阵。

DCGAN 生成的图片。较 GAN 更清晰，有更多色彩。

  • 论文地址：https://arxiv.org/abs/1511.06434

  • 代码实现地址：https://github.com/floydhub/dcgan

  • 其他资源：https://towardsdatascience.com/up-sampling-with-transposed-convolution-9ae4f2df52d0

CGAN: 条件生成对抗网络

原始的 GAN 从噪声中生成图片。因此，如果训练的是一类图（例如，狗），其能生成这一类图片。但是，如果训练中同时有很多类（例如，狗和猫都有）图片，则生成的图片是这些图片模糊的混合。而 CGAN 可以让用户指定生成的图片分类。

具体的，CGAN 将 one-hot 向量 y 和随机噪声向量 z 拼接，组成如下的结构：

使用 CGAN 可以生成指定的 MNIST 数字。

  • 论文地址：https://arxiv.org/abs/1411.1784 (https://arxiv.org/abs/1511.06434)

  • 代码实现地址：https://github.com/PacktPublishing/Advanced-Deep-Learning-with-Keras (https://github.com/floydhub/dcgan)

  • 其他资源：https://wiseodd.github.io/techblog/2016/12/24/conditional-gan-tensorflow/

CycleGAN

利用 GAN 变体 CycleGAN 进行风格迁移。

GAN 不仅可以用来生成图像，还可以创造「马+斑马」这种叠加效果的图像，CycleGAN 解决的就是这种问题，即图像到图像的转换。

CycleGAN 包含两个生成器（G 和 F）和两个判别器（D_X 和 D_Y）。G 从 X 中得到一张图像，并尝试将其映射到 Y 中的某个图像。判别器 D_Y 预测一张图像究竟是由 G 生成的还是 Y 中的真实图像。

F 也进行类似的操作，即从 Y 中得到一张图像，并尝试将其映射到 X 中的某个图像。判别器 D_X 预测一张图像究竟是由 F 生成的还是 X 中的真实图像。

所有四个网络都是用普通 GAN 的方式训练的，直到得到强大的生成器 G 和 F，生成的图像分别骗过 D_X 和 D_Y。

CycleGAN 的结构。

利用 CycleGAN 将画家的画风移植到照片上。

  • 论文地址：https://arxiv.org/abs/1703.10593v6

  • 代码实现地址：https://github.com/junyanz/CycleGAN

CoGAN：成对（Coupled）生成对抗网络

想要更好的结果？为什么不试试两个 GAN？

CoGAN 的原作者这样解释：

「在这个系统中，有两个队伍，每个队伍有两个队员。生成模型是其中一个队，生成一个不属于一类图片的图片对来迷惑判别器队。判别器队尝试将图片的类，以及是否是训练数据或生成数据都判别出来。两个队伍共享权重。」

CoGAN 的结构。

CoGAN 的效果。相比 DCGAN 清晰度更高，更为真实。

  • 论文地址：https://arxiv.org/abs/1606.07536

  • 代码实现地址：https://github.com/mingyuliutw/CoGAN 

  • 其他资源：https://wiseodd.github.io/techblog/2017/02/18/coupled_gan/ 

ProGAN

训练 GAN 有很多问题，其中最大的问题是训练的不稳定性。

有时候，判别器和生成器无法从彼此学习数据。有时候，生成的图片变得非常奇怪。

ProGAN 可以通过逐层提高生成图片的分辨率来用来稳定 GAN 的训练。

这一逻辑是：生成 4x4 的图片比生成 1024x1024 图片要更简单。同时，从 16x16 的图片映射到 32x32 比从 2x2 的图片映射更容易。

因此 ProGAN 首先训练一个 4x4 的生成器和一个 4x4 的判别器，并在训练进程中逐渐增加层数，提高分辨率。

ProGAN 逐渐加深训练的过程。随着网络层数变深，图像越来越清晰。

  • 论文地址：https://arxiv.org/abs/1710.10196

  • 代码实现地址：https://github.com/tkarras/progressive_growing_of_gans 

WGAN：Wasserstein 生成对抗网络

WGAN 中的「W」指的是 Wasserstein。WGAN 提出了一种新的代价函数。

过去 GAN 的 minimax 目标函数

而 WGAN 使用：

GAN 的判别器和 WGAN 的判别器在学习区分高斯分布数据的情况。GAN 可能会出现梯度消失，但 WGAN在空间内始终保持稳健的梯度变化。

新的代价函数在数学上可以防止梯度消失的情况，因此具有更好的训练稳定性。

WGAN（左）和 DCGAN（右）生成房子图片的效果对比。WGAN 更稳健，出错更少。

  • 论文地址：https://arxiv.org/abs/1701.07875v3

  • 代码实现地址：https://github.com/eriklindernoren/Keras-GAN

SAGAN：自注意力生成对抗网络

虽然使用转置卷积的 GAN 可以「扫描」图片的特征映射，但是其只能获得附近的信息。

SAGAN 使用自注意力机制，在全局图像中关注需要注意的特征信息。

SAGAN 使用注意力机制，高亮部位为注意力机制关注的位置。

  • 论文地址：https://arxiv.org/abs/1805.08318v1

  • 代码实现地址：https://github.com/heykeetae/Self-Attention-GAN 

BigGAN：大型生成对抗网络

BigGAN 由 DeepMind 提出，由于生成效果高度逼真而被誉为「史上最强 GAN 图像生成器」。

DeepMind 在研究 GAN 时尝试了前无古人的事情。他们用强大的深度学习技术训练 GAN 的网络。

首先，DeepMind 使用 SAGAN 作为基线，并添加了光谱特征作为输入。其次，他们将批大小提升了 50%，通道数提升了 20%。同时，研究人员使用了截断方法来提升样本的质量。最终，他们在新的数据集 JFT-300 上进行训练，这是一个类似于 ImageNet 的数据集，但是有 3 亿张图片。

BigGAN 生成的高清晰图片，包含各种类别。

  • 论文地址：https://arxiv.org/abs/1809.11096v2 

  • 代码实现地址：https://github.com/huggingface/pytorch-pretrained-BigGAN 

StyleGAN：基于风格的生成对抗网络

StyleGAN 来自英伟达的一项研究，关注的是损失函数、稳定性、架构等。

因此，StyleGAN 没有专注于生成更加逼真的图像，而是致力于提高 GAN 对生成图像的精确控制能力。

为了达到图像风格级别的控制，StyleGAN 使用了适应实例归一化（Adaptive instance normalization）、潜在向量映射网络、不断学习的输入等已有技术。

英伟达 StyleGAN 生成的图像。

  • 论文地址：https://arxiv.org/abs/1812.04948

  • 代码实现地址：https://github.com/NVlabs/stylegan

这篇关于别人家的高中生：入大学前，Ta详细梳理了GAN的发展脉络的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1069886。

相关文章

乐鑫 Matter 技术体验日｜快速落地 Matter 产品，引领智能家居生态新发展

乐鑫 Matter 技术体验日｜快速落地 Matter 产品，引领智能家居生态新发展

随着 Matter 协议的推广和普及，智能家居行业正迎来新的发展机遇，众多厂商纷纷投身于 Matter 产品的研发与验证。然而，开发者普遍面临技术门槛高、认证流程繁琐、生产管理复杂等诸多挑战。  乐鑫信息科技 (688018.SH) 凭借深厚的研发实力与行业洞察力，推出了全面的 Matter 解决方案，包含基于乐鑫 SoC 的 Matter 硬件平台、基于开源 ESP-Matter SDK 的一
阅读更多...
大学湖北中医药大学法医学试题及答案，分享几个实用搜题和学习工具 #微信#学习方法#职场发展

大学湖北中医药大学法医学试题及答案，分享几个实用搜题和学习工具 #微信#学习方法#职场发展

今天分享拥有拍照搜题、文字搜题、语音搜题、多重搜题等搜题模式，可以快速查找问题解析，加深对题目答案的理解。 1.快练题 这是一个网站 找题的网站海量题库,在线搜题,快速刷题~为您提供百万优质题库,直接搜索题库名称,支持多种刷题模式:顺序练习、语音听题、本地搜题、顺序阅读、模拟考试、组卷考试、赶快下载吧! 2.彩虹搜题 这是个老公众号了 支持手写输入，截图搜题，详细步骤，解题必备
阅读更多...
VMware9.0详细安装

VMware9.0详细安装

双击VMware-workstation-full-9.0.0-812388.exe文件： 直接点Next; 这里，我选择了Typical（标准安装）。 因为服务器上只要C盘，所以我选择安装在C盘下的vmware文件夹下面，然后点击Next; 这里我把√取消了，每次启动不检查更新。然后Next； 点击Next； 创建快捷方式等，点击Next； 继续Cont
阅读更多...
创新、引领、发展——SAMPE中国2024年会在京盛大开幕

创新、引领、发展——SAMPE中国2024年会在京盛大开幕

绿树阴浓夏日长，在这个色彩缤纷的季节，SAMPE中国2024年会暨第十九届国际先进复合材料制品原材料、工装及工程应用展览会在中国国际展览中心（北京朝阳馆）隆重开幕。新老朋友共聚一堂，把酒话桑麻。 为期4天的国际学术会议以“先进复合材料，引领产业创新与可持续化发展”为主题，设立了34个主题分会场，其中包括了可持续化会场、国际大学生会场、中法复合材料制造技术峰会三个国际会场和女科技工作者委员会沙龙，
阅读更多...
（超详细）YOLOV7改进-Soft-NMS(支持多种IoU变种选择)

（超详细）YOLOV7改进-Soft-NMS(支持多种IoU变种选择)

1.在until/general.py文件最后加上下面代码 2.在general.py里面找到这代码，修改这两个地方 3.之后直接运行即可
阅读更多...
硬件基础知识——自学习梳理

硬件基础知识——自学习梳理

计算机存储分为闪存和永久性存储。 硬盘（永久存储）主要分为机械磁盘和固态硬盘。 机械磁盘主要靠磁颗粒的正负极方向来存储0或1，且机械磁盘没有使用寿命。 固态硬盘就有使用寿命了，大概支持30w次的读写操作。 闪存使用的是电容进行存储，断电数据就没了。 器件之间传输bit数据在总线上是一个一个传输的，因为通过电压传输（电流不稳定），但是电压属于电势能，所以可以叠加互相干扰，这也就是硬盘，U盘
阅读更多...
Java注解详细总结

Java注解详细总结

什么是注解？         Java注解是代码中的特殊标记，比如@Override、@Test等，作用是：让其他程序根据注解信息决定怎么执行该程序。         注解不光可以用在方法上，还可以用在类上、变量上、构造器上等位置。 自定义注解  现在我们自定义一个MyTest注解 public @interface MyTest{String aaa();boolean bbb()
阅读更多...
气象站的种类和应用范围可以根据不同的分类标准进行详细的划分和描述

气象站的种类和应用范围可以根据不同的分类标准进行详细的划分和描述

气象站的种类和应用范围可以根据不同的分类标准进行详细的划分和描述。以下是从不同角度对气象站的种类和应用范围的介绍： 一、气象站的种类 根据用途和安装环境分类： 农业气象站：专为农业生产服务，监测土壤温度、湿度等参数，为农业生产提供科学依据。交通气象站：用于公路、铁路、机场等交通场所的气象监测，提供实时气象数据以支持交通运营和调度。林业气象站：监测林区风速、湿度、温度等气象要素，为林区保护和
阅读更多...
基于Java医院药品交易系统详细设计和实现(源码+LW+调试文档+讲解等)

基于Java医院药品交易系统详细设计和实现(源码+LW+调试文档+讲解等)

💗博主介绍：✌全网粉丝10W+,CSDN作者、博客专家、全栈领域优质创作者，博客之星、平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗 🌟文末获取源码+数据库🌟 感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人  Java精品实战案例《600套》 2023-2025年最值得选择的Java毕业设计选题大全：1000个热
阅读更多...
Java反射详细总结

Java反射详细总结

什么是反射？         反射，指的是加载类的字节码到内存，并以编程的方法解刨出类中的各个成分（成员变量、方法、构造器等）。         反射获取的是类的信息，那么反射的第一步首先获取到类才行。由于Java的设计原则是万物皆对象，获取到的类其实也是以对象的形式体现的，叫字节码对象，用Class类来表示。获取到字节码对象之后，再通过字节码对象就可以获取到类的组成成分了，这些组成成分其实也
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2