为什么self-attention要除以一个根号dk

2024-05-25 00:52
文章标签 self attention 除以 根号 dk

本文主要是介绍为什么self-attention要除以一个根号dk，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

简单说法是为了让方差到1，推公式也好推。但是没几个人说为什么方差要到1.
如果不除以根号dk，显然QK有可能很大，这就让softmax更有能力得到接近one-hot的结果。这本应是好的，但是从实践来看，我们并不要求一定要输出one-hot，这有点over-fitting的感觉了。差不多就行。
还有更重要的理由。softmax求导是 a − a 2 a-a^2 a−a2， a a a是softmax的结果。如果 a a a太one-hot了，这里的梯度直接全部到0，就太小了。我愿称之为softmax陷阱，就和sigmoid一样，你以为one-hot好，事实上谁知道呢，比起任由self-attention只关注一个v，还是看看远方的其他v吧。这样看，如果浅层网络已经提取到足够的信息了，后面的所有v都将与最有价值的v趋于一致，否则就会因为根号dk强制多see几个而引入不必要的v。除非readout的softmax不用根号dk，实际上也确实是这么做的。

这篇关于为什么self-attention要除以一个根号dk的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1000027。

相关文章

什么是 Flash Attention

什么是 Flash Attention

Flash Attention 是 由 Tri Dao 和 Dan Fu 等人在2022年的论文 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness 中 提出的， 论文可以从 https://arxiv.org/abs/2205.14135 页面下载，点击 View PDF 就可以下载。 下面我
阅读更多...
图神经网络框架DGL实现Graph Attention Network (GAT)笔记

图神经网络框架DGL实现Graph Attention Network (GAT)笔记

参考列表： [1]深入理解图注意力机制 [2]DGL官方学习教程一 ——基础操作&消息传递 [3]Cora数据集介绍+python读取 一、DGL实现GAT分类机器学习论文 程序摘自[1]，该程序实现了利用图神经网络框架——DGL，实现图注意网络（GAT）。应用demo为对机器学习论文数据集——Cora，对论文所属类别进行分类。（下图摘自[3]） 1. 程序 Ubuntu：18.04
阅读更多...
时序预测|变分模态分解-双向时域卷积-双向门控单元-注意力机制多变量时间序列预测VMD-BiTCN-BiGRU-Attention

时序预测|变分模态分解-双向时域卷积-双向门控单元-注意力机制多变量时间序列预测VMD-BiTCN-BiGRU-Attention

时序预测|变分模态分解-双向时域卷积-双向门控单元-注意力机制多变量时间序列预测VMD-BiTCN-BiGRU-Attention 文章目录 一、基本原理1. 变分模态分解（VMD）2. 双向时域卷积（BiTCN）3. 双向门控单元（BiGRU）4. 注意力机制（Attention）总结流程 二、实验结果三、核心代码四、代码获取五、总结 时序预测|变分模态分解-双向时域卷积
阅读更多...
阅读笔记--Guiding Attention in End-to-End Driving Models

阅读笔记--Guiding Attention in End-to-End Driving Models

作者：Diego Porres1, Yi Xiao1, Gabriel Villalonga1, Alexandre Levy1, Antonio M. L ́ opez1,2 出版时间：arXiv:2405.00242v1 [cs.CV] 30 Apr 2024 这篇论文研究了如何引导基于视觉的端到端自动驾驶模型的注意力，以提高它们的驾驶质量和获得更直观的激活图。 摘 要   介绍
阅读更多...
基于 BiLSTM+Attention 实现降雨预测多变量时序分类——明日是否降雨

基于 BiLSTM+Attention 实现降雨预测多变量时序分类——明日是否降雨

前言 系列专栏:【深度学习：算法项目实战】✨︎ 涉及医疗健康、财经金融、商业零售、食品饮料、运动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域，讨论了各种复杂的深度神经网络思想，如卷积神经网络、循环神经网络、生成对抗网络、门控循环单元、长短期记忆、自然语言处理、深度强化学习、大型语言模型和迁移学习。 降雨预测作为气象学和水文学领域的重要研究课题，‌对于农业、‌城市规划、
阅读更多...
Show,Attend and Tell: Neural Image Caption Generation with Visual Attention

Show,Attend and Tell: Neural Image Caption Generation with Visual Attention

简单的翻译阅读了一下 Abstract 受机器翻译和对象检测领域最新工作的启发，我们引入了一种基于注意力的模型，该模型可以自动学习描述图像的内容。我们描述了如何使用标准的反向传播技术，以确定性的方式训练模型，并通过最大化变分下界随机地训练模型。我们还通过可视化展示了模型如何能够自动学习将注视固定在显着对象上，同时在输出序列中生成相应的单词。我们通过三个基准数据集（Flickr9k，Flickr
阅读更多...
深入理解推荐系统：推荐系统中的attention机制

深入理解推荐系统：推荐系统中的attention机制

什么是attention机制、在推荐模型中的应用（会介绍相关模型，AFM/DIN/DIEN/DST）和参考文献  什么是attention机制  Attention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射，在计算attention时主要分为三步 第一步是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；
阅读更多...
[LeetCode] 238. Product of Array Except Self

[LeetCode] 238. Product of Array Except Self

题：https://leetcode.com/problems/product-of-array-except-self/description/ 题目 Given an array nums of n integers where n > 1, return an array output such that output[i] is equal to the product of all
阅读更多...
【Live Archive】6393 Self-Assembly【强连通】

【Live Archive】6393 Self-Assembly【强连通】

传送门：【Live Archive】6393 Self-Assembly 题目分析： 假设我们只用到向上或者向右的块，这样我们只要找到一个回路使得某个块可以和第一个块一样，那么我们就相当于找到了一个循环，这样就可以无限循环了。 但是我们要怎样去找这么一个环？考虑到必须是对应字母 X+,X− X^+,X^-才能建边，然后一个环中一定是多个一对一对的这样的对应字母组成的。 可以发现块的数量那么
阅读更多...
高精度加、减、乘、除（高精除以低精）

高精度加、减、乘、除（高精除以低精）

高精度加法 法1：P1601 A+B Problem（高精） #include <bits/stdc++.h>using namespace std;char s1[510], s2[510];int a[510], b[510], sum[510];int lena, lenb, lens;int main(){cin >> s1 >> s2;lena=strlen(s1);le
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2