GAN笔记_李弘毅教程(七)Info GAN,VAE-GAN,BiGAN

2023-12-23 21:32

本文主要是介绍GAN笔记_李弘毅教程(七)Info GAN,VAE-GAN,BiGAN,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • InfoGAN
  • VAE-GAN
  • BiGAN
  • Triple GAN
  • Domain-adversarial training
  • Original Seq2seq Auto-encoder

Feature Extraction

InfoGAN

手写数字生成,input改变一个维度,output看不出什么变化。
input的变化对output的影响不明确

怎么能看出这种变化的根源?
用InfoGAN
InfoGAN是什么?
输入z,前x维为c,后xx维为z’,用classifier根据G生成的x预测输入的c是什么。
根据输入的vector编码成image,然后image再被译码成vector,这个过程是和一般的"Autor-encoder"相反的,所以为Autor-encoder”
如果G想要让classifier成功预测出c,那么就会很明显地把c放在明显位置,导致生成图片不理想,这时候需要D发现这种错误。
D和classifier参数共享,它们输入的都是图片,输出的分别是scalar和c,所以它们在最后一层不一样。

G要学到c对X有明确影响,所以classifier才能预测出c。c代表了x的某些特征。z’对x的影响是随机的。
是先被归为c,用InfoGAN训练,所以这些维度可以对X有明确影响。

InfoGAN的实验结果
(a)改变c的第一维,决定输出是什么数字
(b)普通GAN的结果
(c)改变c的第二维,决定输出数字的角度
(c)改变c的第三维,决定输出数字的粗细

VAE-GAN

用GAN强化VAE,也可以看作是VAE强化GAN。
VAE没有inout和output的loss,所以生成图像会很模糊,加上D后,会让image更加realistic。
GAN中的G从没看过真正的图片长什么样,需要花大量时间去调参数,才能让G学会产生真正的image,加上Encoder后,会稳

Encoder:
让x和x经过Encoder和Decoder生成的 x i {x^i} xi~ 越接近越好,
同时要让z的分布和 x i {x^i} xi通过Encoder产生的 z i {z^i} zi~ 分布差距越小越好
Decoder(G):
让x和x经过Encoder和Decoder生成的 x i {x^i} xi~ 越接近越好
让Encoder产生的图片(无论是) x i {x^i} xi~还是 x i {x^i} xi能骗过D,${x^i}$是P(z)另外取出的Z生成的图像
D:
对真实图片分数提高,对Decoder(G)产生的两种图片分数降低。

注意:第10个点出现错误,En改成De。

还有一种D,可以辨别出输入的图片是real的,还是generated,还是reconstructed:

BiGAN

Encoder和Decoder的输入输出无关,D同时输入x和z,判断它们来自Encoder还是Decoder

D给Encoder高分,Decoder低分,(相反也可以)。
Encoder要让D给低分,Decoder要让D给高分,具体算法如下:

D做的就是衡量P与Q的差异。GAN的目的是让P和Q越近越好。

如果单用Encoder和Decoder,用输入和输出的方法,貌似也可以达到这个效果,如下图的两个模型,但为什么要引入GAN呢?
这两个模型的optimal solution是一样的,但是它们的error service是不一样的,得到的结果是一样的。
实际上是不可能达到输入和输出完全一样的,所以不可能收敛到optimal solution,在没有收敛到optimal solution的情况下,这两种模型训练出来的结果就会不一样。(模糊)
这两种模型输入的是一张图片,输出的会是同一张图片,只是会变模糊。
但BiGAN是输入一张图片,输出的是另一张同类型的图片,但会很清晰。BiGAN能抓住语义信息。

Triple GAN

由三部分组成,分别是G,D,Classifier。 Triple GAN本身是一个conditional GAN

Domain-adversarial training

当training data和testing data类型不同时,用G分别输入两个数据集的图片,输出两个feature,让这两个feature有相同的distribution。那么就会让两个不同类型的数据集match。

下图中的feature extractor就是G,Domain classfier就是D,Label predictor是classifier看输出的feature属于哪个数字(标签)。理想状态下G不仅要欺骗D,同时还要满足类别标签。实际上不一定一起,是迭代更新,D在训练前是一个负号。一起train会不是很稳;先train D,再train classfier,最后train G,会比较稳。

Original Seq2seq Auto-encoder

中间的latent space包括多种information,

但有时候往往只需要其中一种information,比如说声纹识别,如何单独取出一种information,用来训练?
当是同一个人的语音时,抽出来的特征尽量相同。

当是不同人的语音时,抽出来的特征尽量不同。

但声音信号有时候也藏在发音信号中,这时候就用到Domain-adversarial training
另外train一个classifier,输入两个vector,让classifier判断这是同一个人说的还是不同人说的,同一个人分数提高,不同人分数降低。
这时候就组成了一个GAN,让Encoder欺骗classifier。 x j {x^j} xj是生成的语音。就可以过滤掉speaker信息

phonetic 表示是不同词汇的发音
speaker表示同一个人说的
实验结果:

这篇关于GAN笔记_李弘毅教程(七)Info GAN,VAE-GAN,BiGAN的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/529532

相关文章

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》:本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa

Java使用Curator进行ZooKeeper操作的详细教程

《Java使用Curator进行ZooKeeper操作的详细教程》ApacheCurator是一个基于ZooKeeper的Java客户端库,它极大地简化了使用ZooKeeper的开发工作,在分布式系统... 目录1、简述2、核心功能2.1 CuratorFramework2.2 Recipes3、示例实践3

springboot简单集成Security配置的教程

《springboot简单集成Security配置的教程》:本文主要介绍springboot简单集成Security配置的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录集成Security安全框架引入依赖编写配置类WebSecurityConfig(自定义资源权限规则

MySQL Workbench 安装教程(保姆级)

《MySQLWorkbench安装教程(保姆级)》MySQLWorkbench是一款强大的数据库设计和管理工具,本文主要介绍了MySQLWorkbench安装教程,文中通过图文介绍的非常详细,对大... 目录前言:详细步骤:一、检查安装的数据库版本二、在官网下载对应的mysql Workbench版本,要是

通过Docker Compose部署MySQL的详细教程

《通过DockerCompose部署MySQL的详细教程》DockerCompose作为Docker官方的容器编排工具,为MySQL数据库部署带来了显著优势,下面小编就来为大家详细介绍一... 目录一、docker Compose 部署 mysql 的优势二、环境准备与基础配置2.1 项目目录结构2.2 基