Improving Deep Transformer with Depth-Scaled Initialization and Merged Attention阅读笔记

本文主要是介绍Improving Deep Transformer with Depth-Scaled Initialization and Merged Attention阅读笔记，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1 Abstract

最近在NLP领域，普遍都通过增大神经网络的深度来增强模型的性能和模型容量，然而简单的堆叠神经网络例如在Transformer模型中，会使模型变得难以训练，收敛性会变差并且还会使计算复杂度增高。
在本文中，作者认为深度模型难以收敛主要是因为梯度消失现象，而这一现象在Transformer中主要是由于残差链接和层正则化之间的相互影响。
在本文中，作者提出了两个方法来解决上述问题：
（1） Depth-scaled initialization(DS-Init) 该模型主要通过在初始化阶段减少模型参数的方差，并以此来减少残差链接输出的方差。从而缓解反向传播过程中通过正则化层时的梯度问题。
（2） Merged Attention sublayer(MAtt) 该模型主要为了缓解decoder的计算复杂性。作者将decoder端的self-attention和encoder-decoder attention进行组合，从而形成MAtt

2 Introduction

在图像领域，好的模型一般都有很深的深度，而在NLP领域，尤其是Transformer却难以加深层次。作者对比了近期其他研究者的工作，认为深度Transformer中遭受了很严重的梯度消失问题（如下图所示），作者认为这种现象是由于层间的残差链接以及层正则化的影响。
在这里插入图片描述
由图中可以看到，当模型的层数不断加深时，浅层网络中的梯度消失的现象十分明显。
具体来说，DS-Init通过在初始化阶段使用一个与层数相关的折扣系数（discount factor ） $\frac {1}{\sqrt(l)}$