浅析RoPE旋转位置编码的远程衰减特性

本文主要是介绍浅析RoPE旋转位置编码的远程衰减特性，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

为什么${\theta }_i$的取值会造成远程衰减性

旋转位置编码的出发点为：通过绝对位置编码的方式实现相对位置编码。

对词向量$\mathbf{q}$添加绝对位置信息$m$，希望找到一种函数$f$，使得：
$$<f(\mathbf{q},m),f(\mathbf{k},n)>=g(\mathbf{q},\mathbf{k},m-n)$$
假设词向量是二维的，借用复数来进行求解（具体求解过程参考：https://spaces.ac.cn/archives/8265），最终得到一种可行解：
$$\begin{array}{rl}f(\mathbf{q},m)& =\mathbf{q}{e}^{im\theta }\\ & =\left(\begin{array}{cc}cosm\theta & -sinm\theta \\ sinm\theta & cosm\theta \end{array}\right)\left(\begin{array}{c}{q}_0\\ q_1\end{array}\right)\end{array}$$
扩展到多维：

$f(\mathbf{q},m)={\mathbf{R}}_m\mathbf{q}$
$${\mathbf{R}}_m=\left(\begin{array}{ccccccc}cosm{\theta }_0& -sinm{\theta }_0& 0& 0& \cdots & 0& 0\\ sinm{\theta }_0& cosm{\theta }_0& 0& 0& \cdots & 0& 0\\ 0& 0& cosm{\theta }_1& -sinm{\theta }_1& \cdots & 0& 0\\ 0& 0& sinm{\theta }_1& cosm{\theta }_1& \cdots & 0& 0\\ ⋮& ⋮& ⋮& ⋮& \ddots & ⋮& ⋮\\ 0& 0& 0& 0& \cdots & cosm{\theta }_{d/2-1}& -sinm{\theta }_{d/2-1}\\ 0& 0& 0& 0& \cdots & sinm{\theta }_{d/2-1}& cosm{\theta }_{d/2-1}\end{array}\right)$$
相当于左乘一个旋转矩阵，或者说高维向量，每两维一组，分别旋转一个角度，且不改变模长。

显然，$({\mathbf{R}}_m\mathbf{q}{)}^T({\mathbf{R}}_n\mathbf{k})={\mathbf{q}}^T{\mathbf{R}}_m^T{\mathbf{R}}_n\mathbf{k}={\mathbf{q}}^T{\mathbf{R}}_{n-m}\mathbf{k}$，这样Attention就包含相对位置信息了。


下面分析为什么${\theta }_i$的取值会造成远程衰减性

远程衰减性指的是，对于两个词向量，如果两者相对距离较近，那么它们的注意力分数应该偏高，反之应该偏低。

假设$\mathbf{q}$和$\mathbf{k}$均为ones向量，则$({\mathbf{R}}_m\mathbf{q}{)}^T({\mathbf{R}}_n\mathbf{k})={\mathbf{q}}^T{\mathbf{R}}_{n-m}\mathbf{k}=2{\sum }_{i=0}^{d/2-1}cos(n-m){\theta }_i$，设相对距离$n-m$为$x$，则相对距离为$x$的向量之间注意力得分：
$$g(x)=2\sum _{i=0}^{d/2-1}cosx{\theta }_i$$
如果任意${\theta }_i=0$，则$g(x)=d$，无论相对距离多大，注意力得分都相等

如果任意${\theta }_i=1$，则$g(x)=dcosx$，随着相对距离增大，注意力得分呈周期性变化，但不会震荡衰减：

而作者在${\theta }_i$的选择上，沿用了Sinusoidal位置编码的方案，即${\theta }_i=10000^{-2i/d}$，它会带来一定的远程衰减性。

每个${\theta }_i$，$cosx{\theta }_i$的周期大小$T_i$等于$\frac{2\pi }{{\theta }_i}=\frac{2\pi }{10000^{-2i/d}}=2\pi \ast 10^{8i/d}$，所以$i$越大，$T_i$越大，最小周期为$T_0=2\pi$，最大周期为$T_{d/2-1}=2\pi \ast 10^{(4-\frac{8}{d})}$。

如果对于所有的$x$，$x<\frac{1}{4}{T}_{d/2-1}=\frac{\pi }{2}\ast 10^{(4-\frac{8}{d})}$，也就是说，$cosx{\theta }_{d/2-1}$处于单调递减区间（下方的蓝色区间）

由于前面的$cosx{\theta }_i$呈周期变化，而周期变化的函数 + 单调递减的函数 = 震荡递减的函数。因此，注意力得分$g(x)$随着相对距离$x$的增大而震荡减小。

比如在LLaMA中，$d=4096$，$\frac{1}{4}{T}_{d/2-1}$近似于$10^4$，由于实际应用中，最大序列长度一般不会大于$10^4$，所以相对距离$x<\frac{1}{4}{T}_{d/2-1}$一般是成立的，当然，也可以增大${\theta }_i=10000^{-2i/d}$中的10000，这样$T_{d/2-1}$会变得更大。

当$d=4$时，最大周期$T_{d/2-1}$是628，下面的示例$x$会超过$\frac{1}{4}{T}_{d/2-1}$，因此$g(x)$呈周期性，并不是震荡减小

当$d=256$时，下面的示例$x$不超过$\frac{1}{4}{T}_{d/2-1}=14617$，因此震荡减小。

这篇关于浅析RoPE旋转位置编码的远程衰减特性的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---