GAN笔记_李弘毅教程(七)Info GAN,VAE-GAN,BiGAN

2023-12-23 21:32

本文主要是介绍GAN笔记_李弘毅教程(七)Info GAN,VAE-GAN,BiGAN,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • InfoGAN
  • VAE-GAN
  • BiGAN
  • Triple GAN
  • Domain-adversarial training
  • Original Seq2seq Auto-encoder

Feature Extraction

InfoGAN

手写数字生成,input改变一个维度,output看不出什么变化。
input的变化对output的影响不明确

怎么能看出这种变化的根源?
用InfoGAN
InfoGAN是什么?
输入z,前x维为c,后xx维为z’,用classifier根据G生成的x预测输入的c是什么。
根据输入的vector编码成image,然后image再被译码成vector,这个过程是和一般的"Autor-encoder"相反的,所以为Autor-encoder”
如果G想要让classifier成功预测出c,那么就会很明显地把c放在明显位置,导致生成图片不理想,这时候需要D发现这种错误。
D和classifier参数共享,它们输入的都是图片,输出的分别是scalar和c,所以它们在最后一层不一样。

G要学到c对X有明确影响,所以classifier才能预测出c。c代表了x的某些特征。z’对x的影响是随机的。
是先被归为c,用InfoGAN训练,所以这些维度可以对X有明确影响。

InfoGAN的实验结果
(a)改变c的第一维,决定输出是什么数字
(b)普通GAN的结果
(c)改变c的第二维,决定输出数字的角度
(c)改变c的第三维,决定输出数字的粗细

VAE-GAN

用GAN强化VAE,也可以看作是VAE强化GAN。
VAE没有inout和output的loss,所以生成图像会很模糊,加上D后,会让image更加realistic。
GAN中的G从没看过真正的图片长什么样,需要花大量时间去调参数,才能让G学会产生真正的image,加上Encoder后,会稳

Encoder:
让x和x经过Encoder和Decoder生成的 x i {x^i} xi~ 越接近越好,
同时要让z的分布和 x i {x^i} xi通过Encoder产生的 z i {z^i} zi~ 分布差距越小越好
Decoder(G):
让x和x经过Encoder和Decoder生成的 x i {x^i} xi~ 越接近越好
让Encoder产生的图片(无论是) x i {x^i} xi~还是 x i {x^i} xi能骗过D,${x^i}$是P(z)另外取出的Z生成的图像
D:
对真实图片分数提高,对Decoder(G)产生的两种图片分数降低。

注意:第10个点出现错误,En改成De。

还有一种D,可以辨别出输入的图片是real的,还是generated,还是reconstructed:

BiGAN

Encoder和Decoder的输入输出无关,D同时输入x和z,判断它们来自Encoder还是Decoder

D给Encoder高分,Decoder低分,(相反也可以)。
Encoder要让D给低分,Decoder要让D给高分,具体算法如下:

D做的就是衡量P与Q的差异。GAN的目的是让P和Q越近越好。

如果单用Encoder和Decoder,用输入和输出的方法,貌似也可以达到这个效果,如下图的两个模型,但为什么要引入GAN呢?
这两个模型的optimal solution是一样的,但是它们的error service是不一样的,得到的结果是一样的。
实际上是不可能达到输入和输出完全一样的,所以不可能收敛到optimal solution,在没有收敛到optimal solution的情况下,这两种模型训练出来的结果就会不一样。(模糊)
这两种模型输入的是一张图片,输出的会是同一张图片,只是会变模糊。
但BiGAN是输入一张图片,输出的是另一张同类型的图片,但会很清晰。BiGAN能抓住语义信息。

Triple GAN

由三部分组成,分别是G,D,Classifier。 Triple GAN本身是一个conditional GAN

Domain-adversarial training

当training data和testing data类型不同时,用G分别输入两个数据集的图片,输出两个feature,让这两个feature有相同的distribution。那么就会让两个不同类型的数据集match。

下图中的feature extractor就是G,Domain classfier就是D,Label predictor是classifier看输出的feature属于哪个数字(标签)。理想状态下G不仅要欺骗D,同时还要满足类别标签。实际上不一定一起,是迭代更新,D在训练前是一个负号。一起train会不是很稳;先train D,再train classfier,最后train G,会比较稳。

Original Seq2seq Auto-encoder

中间的latent space包括多种information,

但有时候往往只需要其中一种information,比如说声纹识别,如何单独取出一种information,用来训练?
当是同一个人的语音时,抽出来的特征尽量相同。

当是不同人的语音时,抽出来的特征尽量不同。

但声音信号有时候也藏在发音信号中,这时候就用到Domain-adversarial training
另外train一个classifier,输入两个vector,让classifier判断这是同一个人说的还是不同人说的,同一个人分数提高,不同人分数降低。
这时候就组成了一个GAN,让Encoder欺骗classifier。 x j {x^j} xj是生成的语音。就可以过滤掉speaker信息

phonetic 表示是不同词汇的发音
speaker表示同一个人说的
实验结果:

这篇关于GAN笔记_李弘毅教程(七)Info GAN,VAE-GAN,BiGAN的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/529532

相关文章

springboot使用Scheduling实现动态增删启停定时任务教程

《springboot使用Scheduling实现动态增删启停定时任务教程》:本文主要介绍springboot使用Scheduling实现动态增删启停定时任务教程,具有很好的参考价值,希望对大家有... 目录1、配置定时任务需要的线程池2、创建ScheduledFuture的包装类3、注册定时任务,增加、删

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

Python虚拟环境终极(含PyCharm的使用教程)

《Python虚拟环境终极(含PyCharm的使用教程)》:本文主要介绍Python虚拟环境终极(含PyCharm的使用教程),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录一、为什么需要虚拟环境?二、虚拟环境创建方式对比三、命令行创建虚拟环境(venv)3.1 基础命令3

使用Node.js制作图片上传服务的详细教程

《使用Node.js制作图片上传服务的详细教程》在现代Web应用开发中,图片上传是一项常见且重要的功能,借助Node.js强大的生态系统,我们可以轻松搭建高效的图片上传服务,本文将深入探讨如何使用No... 目录准备工作搭建 Express 服务器配置 multer 进行图片上传处理图片上传请求完整代码示例

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析

python连接本地SQL server详细图文教程

《python连接本地SQLserver详细图文教程》在数据分析领域,经常需要从数据库中获取数据进行分析和处理,下面:本文主要介绍python连接本地SQLserver的相关资料,文中通过代码... 目录一.设置本地账号1.新建用户2.开启双重验证3,开启TCP/IP本地服务二js.python连接实例1.

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》:本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA