在一些领域，将嵌入层和输出层的权重绑定，以达到减少参数量并使得相同token保持统一的embedding空间的作用。 下面的nn.Linear(3, 10)的权重矩阵的尺寸是10*3，即y = W @ x + b，因此跟nn.Embedding(10, 3)的权重矩阵大小相等。 import torchimport torch.nn as nnimport torch.nn.functio

NLP论文：Weight tying 笔记 论文介绍模型结构文章部分翻译Abstract1 Introduction3 Weight Tying 相关视频相关的笔记相关代码pytorchtensorflowkeras pytorch API:tensorflow API 论文 NLP论文笔记合集（持续更新） 原论文：《Using the Output Embedding to