速神经网络的训练算法LARS/LAMB工作原理 --UC Berkeley在读博士生尤洋

本文主要是介绍速神经网络的训练算法LARS/LAMB工作原理 --UC Berkeley在读博士生尤洋,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


为什么深度学习很慢?
如果我们利用并行计算,怎样才能完美的利用大量的processor?
为什么large batch size会引起精度降低?
新优化器
参考:
快速神经网络的训练算法 --UC Berkeley博士尤洋
本片文章介绍的两种算法不仅可以优化并行计算,在普通硬件环境中运行也是有效的。算法是由UC Berkeley博士尤洋开发。在固定精度的情况下,新算法可以更快的达到要求,在固定训练时间的情况下,可以有更好的精度。
目前深度学习面临的一个问题是,没有一个通用的优化器。Adaptive optimizers (Adam/AdaGrad)在ImageNet上面表现就不是很好,这导致现在很多ImageNet都在用Momentum进行优化。反过来Momentum在BERT的训练上面也表现平平。

为什么深度学习很慢?
现在大部分的算法都是SGD的变形。SGD随机梯度下降算法:
(Mini-Batch) SGD:
1.Take B data points each iteration (B: batch size)
2.Compute gradients of woeights based on B data points
3.Update the weights: W = W - learning_rate * ▽W

由上图我们可以看到ResNet50的计算量非常大,而BERT的计算量是ResNet的50倍左右。

如果我们利用并行计算,怎样才能完美的利用大量的processor?
有三种思路,第一种并行计算神经网络的层。每台机器负责运算神经网络中的几层。这种思路显然是不对的,因为神经网络需要前向与反向传递,这种传递是顺序的数据依赖,所以在计算的时候只有一台机器在运作其他机器在等待。
第二种思路是并行计算每一层中不同的节点。这种思路可行,但是这就需要一个很宽的神经网络。每一层都都很多神经元。而相比于神经网络的宽度,深度明显要更重要。

根据上图可以看出,宽而浅的神经网络的表现并没有深度网络好。进而我们有了第三种思路:数据并行。

这种思路也是现今的主流,但是这种思路也有一个问题,那就是需要比较大的batch size。在忽略收敛性的前提下增加batch size可以加快并行速度。

上图我们可以看到batch size增加,GPU的速度也增加了。

从上图的表中我们可以看到,t1远大于t2,增加batch size可以减小迭代次数从而加快计算速度。这样加快深度神经网络的训练就可以转化为,如何去增加训练的batch size。

但是问题随之而来,大的batch size会引起精度降低。所以增加训练的batch size又可以转化成如何在增加batch size的情况下保持模型的精度。

为什么large batch size会引起精度降低?
一般来说有两种解释,第一种是泛化问题(Generalization problem),模型具有较高training accuracy,但是test accuracy却很低。这种解释是Intel公司2017年提出的。论文地址:https://openreview.net/pdf?id=H1oyRlYgg

Generalization problem:

Regular batch: |Test loss - Train loss| is small
Large batch: |Test loss - Train loss| is large
泛化问题具体解释可以去论文原文中找到,这里就不在赘述。

想要解决这种问题,可以利用Batch Normalization。利用BN之后test accuracy下降从原来的0.05降低到了0.01左右(batch size = 4096)。
第二种解释是因为优化难度问题,很难去找到正确的超参。这种解释是17年由Facebook公司提出的。论文地址:https://openreview.net/pdf?id=H1oyRlYgg
论文里面提出了两种解决方法,第一种是在增加batch size的同时增加learning rate,两者增加相同的倍数。第二种方法是warmup热身,从小的learning rate一点点增加然后再回复到原始的learning rate。

新优化器
在尤洋博士的研究中,他发现Large batch size在深度神经网络中,每一层的梯度权重比有很大的不同。如下图所示:

这张图我们可以看到第1层和第6层的比值相差很大。这就意味着用相同的learning rate去更新权重的话,会导致第一层更新的效率跟第六层的更新效率相差很大。如果learning rate适应第6层的话,第1层很有可能无法收敛。这就导致了神经网络的准确率下降。
所以这里引入了尤洋博士的新算法Layer-wise Adaptive Rate Scaling(LARS)。新的算法主要改变了learning rate。算法如图:


LARS算法使得每一层的学习率都有所不同,这样就减少因为学习率导致无法收敛的情况。(学习率修正)
在经过LARS优化之后AlexNet的large batch size的test accuracy的效果也变得很好。

增加了batch size训练速度也有大幅度提升。
在文章的第一步我们提到了神经网络中没有一个通用的优化器,那么LARS是否可以用于其他模型的优化。


由上面两张图中我们可以看到LARS在ResNet中表现的很好,在BERT上面虽然在8k左右的时候表现比原来的优化器表现要好,但是当batch size增加到16k以上的时候,表现却出现了下滑。

由此,尤洋博士提出了新优化器Layer-wise Adaptive Moments for Batch(LAMB):

新的算法结合了Adam和刚才提出的layer-wise修正(LARS)。
在应用LAMB优化器后,BERT的训练时间在保持精度的同时降低了60倍。

LAMB优化器在ResNet的训练ImageNet中也击败了Momentum优化器。

并且在小的数据集中表现也非常好。


参考:
https://www.bilibili.com/video/av54050301
https://arxiv.org/pdf/1904.00962v3.pdf
https://openreview.net/pdf?id=H1oyRlYgg
 

这篇关于速神经网络的训练算法LARS/LAMB工作原理 --UC Berkeley在读博士生尤洋的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/670538

相关文章

Java编译生成多个.class文件的原理和作用

《Java编译生成多个.class文件的原理和作用》作为一名经验丰富的开发者,在Java项目中执行编译后,可能会发现一个.java源文件有时会产生多个.class文件,从技术实现层面详细剖析这一现象... 目录一、内部类机制与.class文件生成成员内部类(常规内部类)局部内部类(方法内部类)匿名内部类二、

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

JAVA封装多线程实现的方式及原理

《JAVA封装多线程实现的方式及原理》:本文主要介绍Java中封装多线程的原理和常见方式,通过封装可以简化多线程的使用,提高安全性,并增强代码的可维护性和可扩展性,需要的朋友可以参考下... 目录前言一、封装的目标二、常见的封装方式及原理总结前言在 Java 中,封装多线程的原理主要围绕着将多线程相关的操

kotlin中的模块化结构组件及工作原理

《kotlin中的模块化结构组件及工作原理》本文介绍了Kotlin中模块化结构组件,包括ViewModel、LiveData、Room和Navigation的工作原理和基础使用,本文通过实例代码给大家... 目录ViewModel 工作原理LiveData 工作原理Room 工作原理Navigation 工

Java的volatile和sychronized底层实现原理解析

《Java的volatile和sychronized底层实现原理解析》文章详细介绍了Java中的synchronized和volatile关键字的底层实现原理,包括字节码层面、JVM层面的实现细节,以... 目录1. 概览2. Synchronized2.1 字节码层面2.2 JVM层面2.2.1 ente

MySQL的隐式锁(Implicit Lock)原理实现

《MySQL的隐式锁(ImplicitLock)原理实现》MySQL的InnoDB存储引擎中隐式锁是一种自动管理的锁,用于保证事务在行级别操作时的数据一致性和安全性,本文主要介绍了MySQL的隐式锁... 目录1. 背景:什么是隐式锁?2. 隐式锁的工作原理3. 隐式锁的类型4. 隐式锁的实现与源代码分析4

如何通过Golang的container/list实现LRU缓存算法

《如何通过Golang的container/list实现LRU缓存算法》文章介绍了Go语言中container/list包实现的双向链表,并探讨了如何使用链表实现LRU缓存,LRU缓存通过维护一个双向... 目录力扣:146. LRU 缓存主要结构 List 和 Element常用方法1. 初始化链表2.