参考：一文看懂 LLaMA 中的旋转式位置编码（Rotary Position Embedding） 原理推导参考自上文，以下结合huggingface代码分析公式计算过程 1 旋转角度计算 计算公式如下，其中d为词嵌入维度，这部分和论文原文一样 θ j = 1000 0 − 2 ( j − 1 ) / d , j ∈ [ 1 , 2 , … , d / 2 ] \theta_j=1000

文章目录 一、完整代码二、论文解读2.1 注意力机制2.2 绝对位置编码2.3 相对位置编码2.4 旋转位置编码Long-term decayAdaption for linear attention 2.5 模型效果 三、过程实现四、整体总结 论文：ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING 作者

转载：https://blog.csdn.net/xuanyuanlei1020/article/details/51725653 在原文基础上稍加整理，对原作者 轩辕泪1020表示敬意！！ 1. 介绍 旋转或编码器是一个角度测量装置. 他用作精确测量电机的旋转角度或者用来控制控制轮子（可以无限旋转，而电位器只能旋转到特定位置）。其中有一些还安装了一个可以在轴上按的按钮，就像音乐播放器的控制按