015_SSSSS_ Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

本文主要是介绍015_SSSSS_ Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

这篇笔记总结一下各种Normalization,不仅是AdaIN

1. Batch Normalization(BN)

对于输入数据 x ∈ R N × C × H × W x \in R^{N \times C \times H \times W} xRN×C×H×W, BN对于每一个独立的特征维度的均值和方差进行归一化。

在这里插入图片描述

其中 γ , β ∈ R C \gamma,\beta \in R^C γ,βRC 是学习到的仿射参数, μ ( x ) , σ ( x ) ∈ R C \mu(x),\sigma(x) \in R^C μ(x),σ(x)RC 是数据的均值和方差。

在这里插入图片描述

BN在训练的时候对batch的大小要求比较高,一般需要较大的batch。而在inference的时候,需要用训练时每个batch的均值和方差(mini-batch statistics),再求期望作为推断时用到的均值和方差(popular statistics)。

2. Instance Normalization(IN)

IN与BN的主要区别在于均值和方差只在每个Instance内求得,而不在整个batch内求。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

3. Conditional Instance Normalization(CIN)

CIN在IN的基础上加入了条件,其 γ \gamma γ β \beta β 不再是只学习到一个,而是根据增加的条件输入不同,得到 s s s 组不同的值,对应于不同风格的输入。

在这里插入图片描述

4. Adaptive Instance Normalization(AdaIN)

AdaIN不再通过学习得到 γ \gamma γ, β \beta β 而是用输入的条件数据 y y y 来替代。

在这里插入图片描述

5. Layer Normalization(LN)

与BN的区别在于,BN是在Batch维度做的归一化,而LN则是在Layer上。
L N ( x ) = γ x − μ ( x ) σ ( x ) + β μ n ( x ) = 1 H W C ∑ n = 1 H ∑ n = 1 W ∑ n = 1 C x n c h w σ n ( x ) = 1 H W C ∑ n = 1 H ∑ n = 1 W ∑ n = 1 C ( x n c h w − μ n ( x ) ) 2 + ϵ LN(x) = \gamma \frac{x-\mu(x)}{\sigma(x)} + \beta \\ \mu_n(x) = \frac{1}{HWC} \sum_{n=1}^H\sum_{n=1}^W\sum_{n=1}^C x_{nchw} \\ \sigma_n(x) = \sqrt{\frac{1}{HWC} \sum_{n=1}^H\sum_{n=1}^W\sum_{n=1}^C (x_{nchw} - \mu_n(x))^2 + \epsilon} LN(x)=γσ(x)xμ(x)+βμn(x)=HWC1n=1Hn=1Wn=1Cxnchwσn(x)=HWC1n=1Hn=1Wn=1C(xnchwμn(x))2+ϵ

6. Group Normalization(GN)

GN与LN的区别在于,LN在所有的特征维度C上做归一化,但是GN则是在部分维度上做归一化。

在这里插入图片描述

这篇关于015_SSSSS_ Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/174064

相关文章

前端 CSS 动态设置样式::class、:style 等技巧(推荐)

《前端CSS动态设置样式::class、:style等技巧(推荐)》:本文主要介绍了Vue.js中动态绑定类名和内联样式的两种方法:对象语法和数组语法,通过对象语法,可以根据条件动态切换类名或样式;通过数组语法,可以同时绑定多个类名或样式,此外,还可以结合计算属性来生成复杂的类名或样式对象,详细内容请阅读本文,希望能对你有所帮助...

MySQL中时区参数time_zone解读

《MySQL中时区参数time_zone解读》MySQL时区参数time_zone用于控制系统函数和字段的DEFAULTCURRENT_TIMESTAMP属性,修改时区可能会影响timestamp类型... 目录前言1.时区参数影响2.如何设置3.字段类型选择总结前言mysql 时区参数 time_zon

Python 标准库time时间的访问和转换问题小结

《Python标准库time时间的访问和转换问题小结》time模块为Python提供了处理时间和日期的多种功能,适用于多种与时间相关的场景,包括获取当前时间、格式化时间、暂停程序执行、计算程序运行时... 目录模块介绍使用场景主要类主要函数 - time()- sleep()- localtime()- g

如何使用 Bash 脚本中的time命令来统计命令执行时间(中英双语)

《如何使用Bash脚本中的time命令来统计命令执行时间(中英双语)》本文介绍了如何在Bash脚本中使用`time`命令来测量命令执行时间,包括`real`、`user`和`sys`三个时间指标,... 使用 Bash 脚本中的 time 命令来统计命令执行时间在日常的开发和运维过程中,性能监控和优化是不

linux 下Time_wait过多问题解决

转自:http://blog.csdn.net/jaylong35/article/details/6605077 问题起因: 自己开发了一个服务器和客户端,通过短连接的方式来进行通讯,由于过于频繁的创建连接,导致系统连接数量被占用,不能及时释放。看了一下18888,当时吓到了。 现象: 1、外部机器不能正常连接SSH 2、内向外不能够正常的ping通过,域名也不能正常解析。

UMI复现代码运行逻辑全流程(一)——eval_real.py(尚在更新)

一、文件夹功能解析 全文件夹如下 其中,核心文件作用为: diffusion_policy:扩散策略核心文件夹,包含了众多模型及基础库 example:标定及配置文件 scripts/scripts_real:测试脚本文件,区别在于前者倾向于单体运行,后者为整体运行 scripts_slam_pipeline:orb_slam3运行全部文件 umi:核心交互文件夹,作用在于构建真

python内置模块datetime.time类详细介绍

​​​​​​​Python的datetime模块是一个强大的日期和时间处理库,它提供了多个类来处理日期和时间。主要包括几个功能类datetime.date、datetime.time、datetime.datetime、datetime.timedelta,datetime.timezone等。 ----------动动小手,非常感谢各位的点赞收藏和关注。----------- 使用datet

OpenStack实例操作选项解释:启动和停止instance实例

关于启动和停止OpenStack实例 如果你想要启动和停止OpenStack实例时,有四种方法可以考虑。 管理员可以暂停、挂起、搁置、停止OpenStack 的计算实例。但是这些方法之间有什么不同之处? 目录 关于启动和停止OpenStack实例1.暂停和取消暂停实例2.挂起和恢复实例3.搁置(废弃)实例和取消废弃实例4.停止(删除)实例 1.暂停和取消暂停实例

WebAPI (一)DOM树、DOM对象,操作元素样式(style className,classList)。表单元素属性。自定义属性。间歇函数定时器

文章目录 Web API基本认知一、 变量声明二、 DOM1. DOM 树2. DOM对象3. 获取DOM对象(1)、选择匹配的第一个元素(2)、选择匹配多个元素 三、 操作元素1. 操作元素内容2. 操作元素属性(1)、常用属性(href之类的)(2)、通过style属性操作CSS(3)、通过类名(className)操作CSS(4)、通过classList操作控制CSS(5)、操作表单

Midjourney 随机风格 (Style Random),开启奇幻视觉之旅

作者:老余捞鱼 原创不易,转载请标明出处及原作者。 写在前面的话:       Midjourney 最近推出了 "Style Random"(随机风格),这项功能可以让我们使用独特的随机 sref 代码创建图像,从而每次都能获得不同的美感。通过对这些功能的探索和尝试,我发现了一些很棒的风格,我很高兴能与大家分享,这样可以节省大家的时间,不用自己动手测试。在本文中,我将展示十个M