GAN:DCGAN-深度卷积生成对抗网络

2023-11-29 02:52

本文主要是介绍GAN:DCGAN-深度卷积生成对抗网络,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

论文:https://arxiv.org/pdf/1511.06434.pdf

发表:ICLR 2016

一、架构创新

1:全卷积网络:用逐步卷积代替确定性的空间池化函数(如maxpooling),使网络学习自己的空间下采样。使用这种方法,允许它学习他自己的空间上采样和鉴别器。

2:取消卷积特征之上的全连接层:gap平均池化层提升了模型的稳定性,但降低了收敛速度。

3:批量标准化BN有助于处理由于初始化较差而出现的训练问题,并帮助深层模型中的梯度流。这证明深层生成器开始学习非常重要。直接将批处理应用于所有层面,会导致样品振荡和模型不稳定。通过不将批处理应用于生成器输出层和鉴别器输入层来避免

生成器中除了output层使用Tanh 激活,其他层使用ReLU激活。判别器中使用leaky ReLU激活。 

 

二、训练干货

1:除了缩放至tanh激活函数[-1,1]的范围之外,没有对训练图像进行应用预处理。

2:使用小批量随机梯度下降法(SGD)进行训练,batch size为128。

3:权重初始化都是以零为中心的正态分布初始化的,标准偏差为0.02。

4:在LeakyReLU中,斜率设置为0.2。

5:使用Adam优化器。我们发现建议的学习率为0.001太高,用0.0002来代替。此外,我们发现将动量项留在0.9的建议值导致了训练振荡和不稳定性,同时将其降低到0.5,这有助于稳定训练。

三、操纵生成表示

  • 去除图像中某些物体,论文中实现的方法如下:
    • 选择152张生成的图片,对其中52张有窗户的图像,标记窗户的location。
    • 在倒数第二层卷积features上,使用逻辑回归找出窗户的位置。来自窗户的位置区域的是positives,图上的其他区域是negatives。
    • 将窗户区域中weights大于0的特征进行丢弃(手动设置为0)。
    • 使用相同的输入特征,重新生成图片。
    • 论文配图如下:
      • 第一行为原始图片(有窗户)。
      • 第二行为将窗户相关特征添加到dropout后的结果(没有窗户)。
      • 总体结果:图像变模糊,但窗户在一定程度上也少了。

四、人脸上的尝试

经典示例:king国王特征 - man男性特征 + women女性特征 = queen女王特征

对单个样本进行实验,结果是不稳定的,但是对三个样本的Z向量进行平均,显示了在语义上服从算术是一致的和稳定的。此外,我们还证明了人脸姿态也是在Z空间中线性建模的。 (暗指人脸编辑是可行的,当然这个是16年,很早的文章了,很有启发性。后续已经有更好的方案了)

3个女性(微笑表情)的平均 - 3个女性(正常表情)的平均  + 3个男性(正常表情)的平均

 = 可以生成微笑表情的男性

左边3列:

对于每一列,将样本的Z向量进行算术运算,得到新的向量Y。中心

右边3列:

中间样本是通过将 Y 作为输入提供给生成器而生成的。

其他两列是通过使用比例为 +-0.25 的均匀噪声采样对Y进行操作,产生得到。

 、代码尝试

1:阅读pytorch官方指南:https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html

2:使用pytorch官方代码:https://github.com/pytorch/tutorials/blob/main/beginner_source/dcgan_faces_tutorial.py

迭代了50个epoch的效果,还是比较抽象吧,但可以很好学习code。 

这篇关于GAN:DCGAN-深度卷积生成对抗网络的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/431175

相关文章

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》:本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、

MySQL中动态生成SQL语句去掉所有字段的空格的操作方法

《MySQL中动态生成SQL语句去掉所有字段的空格的操作方法》在数据库管理过程中,我们常常会遇到需要对表中字段进行清洗和整理的情况,本文将详细介绍如何在MySQL中动态生成SQL语句来去掉所有字段的空... 目录在mysql中动态生成SQL语句去掉所有字段的空格准备工作原理分析动态生成SQL语句在MySQL

Java利用docx4j+Freemarker生成word文档

《Java利用docx4j+Freemarker生成word文档》这篇文章主要为大家详细介绍了Java如何利用docx4j+Freemarker生成word文档,文中的示例代码讲解详细,感兴趣的小伙伴... 目录技术方案maven依赖创建模板文件实现代码技术方案Java 1.8 + docx4j + Fr

Java编译生成多个.class文件的原理和作用

《Java编译生成多个.class文件的原理和作用》作为一名经验丰富的开发者,在Java项目中执行编译后,可能会发现一个.java源文件有时会产生多个.class文件,从技术实现层面详细剖析这一现象... 目录一、内部类机制与.class文件生成成员内部类(常规内部类)局部内部类(方法内部类)匿名内部类二、

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.