PyTorch nn.MultiHead() 参数理解

2024-01-27 01:08

本文主要是介绍PyTorch nn.MultiHead() 参数理解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

之前一直是自己实现MultiHead Self-Attention程序,代码段又臭又长。后来发现Pytorch 早已经有API nn.MultiHead()函数,但是使用时我却遇到了很大的麻烦。

首先放上官网说明:
M u l t i H e a d ( Q , K , V ) = C o n c a t ( h e a d 1 , … , h e a d h ) W O w h e r e h e a d i = A t t e n t i o n ( Q W i Q , K W i K , V W i V ) MultiHead(Q,K,V)=Concat(head_1,…,head_h)W_O\quad where\ head_i=Attention(QW_i^Q,KW_i^K,VW_i^V) MultiHead(Q,K,V)=Concat(head1,,headh)WOwhere headi=Attention(QWiQ,KWiK,VWiV)

# 模型初始化
torch.nn.MultiheadAttention(embed_dim, num_heads, dropout=0.0, bias=True, add_bias_kv=False, add_zero_attn=False, kdim=None, vdim=None)
'''
embed_dim – 嵌入向量总长度.num_heads – 并行的head数目,即同时做多少次不同语义的attention.dropout – dropout的概率.bias – 是否添加偏置.默认: True.
'''# 模型运算
forward(query, key, value, key_padding_mask=None, need_weights=True, attn_mask=None)
'''
Inputs:query: (L, N, E) where L is the target sequence length, N is the batch size, E is the embedding dimension.key: (S, N, E) , where S is the source sequence length, N is the batch size, E is the embedding dimension.value: (S, N, E) where S is the source sequence length, N is the batch size, E is the embedding dimension.key_padding_mask: (N, S)(N,S) , ByteTensor, where N is the batch size, S is the source sequence length.attn_mask: 2D mask (L, S)(L,S) where L is the target sequence length, S is the source sequence length. 3D mask (N*num_heads, L, S)(N∗num_heads,L,S) where N is the batch size, L is the target sequence length, S is the source sequence length.Outputs:attn_output: (L, N, E)(L,N,E) where L is the target sequence length, N is the batch size, E is the embedding dimension.attn_output_weights: (N, L, S)(N,L,S) where N is the batch size, L is the target sequence length, S is the source sequence length.
'''

值得注意的一点是,query,key,value的输入形状一定是 [sequence_size, batch_size, emb_size]

官网例子:

>>> multihead_attn = nn.MultiheadAttention(embed_dim, num_heads)
>>> attn_output, attn_output_weights = multihead_attn(query, key, value)

embed_dim, num_heads参数

但是我执行程序却报错了:

A = torch.arange(1,25).view(4,3,2)
A = A.float()self_attn = torch.nn.MultiheadAttention(embed_dim=2, num_heads=4, dropout=0.0)
res,weight = self_attn(A,A,A)

报错信息:

    self_attn = torch.nn.MultiheadAttention(embed_dim=2, num_heads=4, dropout=0.0)File "E:\Anaconda3\lib\site-packages\torch\nn\modules\activation.py", line 740, in __init__assert self.head_dim * num_heads == self.embed_dim, "embed_dim must be divisible by num_heads"
AssertionError: embed_dim must be divisible by num_heads

切到源码看不懂,而且我用pycharm 一直ctrl+鼠标进入不了最底层的代码,只有前几层的代码。(求相关领域大佬教教我)

经过自己的尝试,nn.MultiheadAttention(embed_dim, num_heads)中的要满足两点约束:

  • embed_dim == input_dim ,即query,key,value的embedding_size必须等于embed_dim
  • embed_dim%num_heads==0

上面的约束,也就说明了在使用nn.MultiheadAttention(embed_dim, num_heads)时, num_heads不是我们想设多少就设定多少。

我的看法:

nn.MultiheadAttention(embed_dim, num_heads) 中的embed_dim 是输入的embeddingsize,即query输入形状(L, N, E)的E数值,nn.MultiheadAttention 想要实现的是无论head 数目设置成多少,输出的向量大小都是不变的。写完这句话,发现自己表达能力真是弱,自己都看不懂。可以结合下面公式理解。
M u l t i H e a d ( Q , K , V ) = C o n c a t ( h e a d 1 , … , h e a d h ) W O w h e r e h e a d i = A t t e n t i o n ( Q W i Q , K W i K , V W i V ) Q ∈ R ( L , N , E ) , K ∈ R ( S , N , E ) , V ∈ R ( S , N , E ) , W i ∈ R ( E , E / h ) , W O ∈ R ( E , E ) MultiHead(Q,K,V)=Concat(head_1,…,head_h)W_O\quad where\ head_i=Attention(QW_i^Q,KW_i^K,VW_i^V)\\ Q\in R^{(L, N, E)},\ K\in R^{(S, N, E)},\ V\in R^{(S, N, E)},\ W_i\in R^{(E,E/h)},W_O\in R^{(E,E)} MultiHead(Q,K,V)=Concat(head1,,headh)WOwhere headi=Attention(QWiQ,KWiK,VWiV)QR(L,N,E), KR(S,N,E), VR(S,N,E), WiR(E,E/h),WOR(E,E)

attn_mask参数

self-attention公式: SA ⁡ ( Q , K , V ) = s o f t m a x ( Q K T d k ) V \operatorname{SA}(Q, K, V)=softmax\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V SA(Q,K,V)=softmax(dk QKT)V

Q K T Q K^{T} QKT生成权重分布,但是在应用中有些位置的权重是不可见的,比如在时间序列中,第t天时,我们并不知道t+1天之后的信息。这时就需要传入attn_mask参数,屏蔽这些不合理的权重。attn_mask要求是booltensor,某个位置true表示掩盖该位置。

import torch
import torch.nn as nnA = torch.Tensor(5,2,4)
nn.init.xavier_normal_(A)
print(A)# tensor([[[ 0.3688,  0.0391,  0.2048, -0.0906],
#          [-0.0654,  0.1193, -0.1792,  0.0470]],
#
#         [[ 0.0812, -0.4180, -0.1353, -0.2670],
#          [ 0.0433,  0.1442,  0.1733,  0.0535]],
#
#         [[ 0.2352, -0.3314, -0.0238,  0.4116],
#          [ 0.1062,  0.5122,  0.1572, -0.2991]],
#
#         [[ 0.3381,  0.4004, -0.1936, -0.1553],
#          [-0.0168,  0.5914,  0.7389, -0.1740]],
#
#         [[ 0.0446, -0.1739, -0.2020,  0.2580],
#          [-0.0109,  0.0854,  0.2634, -0.4735]]])M = nn.MultiheadAttention(embed_dim=4, num_heads=2)
attention_mask = ~torch.tril(torch.ones([A.shape[0],A.shape[0]])).bool()
print(attention_mask)# tensor([[False,  True,  True,  True,  True],
#         [False, False,  True,  True,  True],
#         [False, False, False,  True,  True],
#         [False, False, False, False,  True],
#         [False, False, False, False, False]])attn_output, attn_output_weights=M(A,A,A, attn_mask=attention_mask)
print(attention_mask)# tensor([[[1.0000, 0.0000, 0.0000, 0.0000, 0.0000],
#          [0.5067, 0.4933, 0.0000, 0.0000, 0.0000],
#          [0.3350, 0.3276, 0.3374, 0.0000, 0.0000],
#          [0.2523, 0.2511, 0.2549, 0.2417, 0.0000],
#          [0.2004, 0.1962, 0.2039, 0.1981, 0.2013]],
# 
#         [[1.0000, 0.0000, 0.0000, 0.0000, 0.0000],
#          [0.5025, 0.4975, 0.0000, 0.0000, 0.0000],
#          [0.3325, 0.3312, 0.3363, 0.0000, 0.0000],
#          [0.2535, 0.2429, 0.2633, 0.2404, 0.0000],
#          [0.2002, 0.1986, 0.2008, 0.1976, 0.2028]]], grad_fn=<DivBackward0>)

这篇关于PyTorch nn.MultiHead() 参数理解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/648621

相关文章

一文带你了解SpringBoot中启动参数的各种用法

《一文带你了解SpringBoot中启动参数的各种用法》在使用SpringBoot开发应用时,我们通常需要根据不同的环境或特定需求调整启动参数,那么,SpringBoot提供了哪些方式来配置这些启动参... 目录一、启动参数的常见传递方式二、通过命令行参数传递启动参数三、使用 application.pro

使用PyTorch实现手写数字识别功能

《使用PyTorch实现手写数字识别功能》在人工智能的世界里,计算机视觉是最具魅力的领域之一,通过PyTorch这一强大的深度学习框架,我们将在经典的MNIST数据集上,见证一个神经网络从零开始学会识... 目录当计算机学会“看”数字搭建开发环境MNIST数据集解析1. 认识手写数字数据库2. 数据预处理的

基于@RequestParam注解之Spring MVC参数绑定的利器

《基于@RequestParam注解之SpringMVC参数绑定的利器》:本文主要介绍基于@RequestParam注解之SpringMVC参数绑定的利器,具有很好的参考价值,希望对大家有所帮助... 目录@RequestParam注解:Spring MVC参数绑定的利器什么是@RequestParam?@

Pytorch微调BERT实现命名实体识别

《Pytorch微调BERT实现命名实体识别》命名实体识别(NER)是自然语言处理(NLP)中的一项关键任务,它涉及识别和分类文本中的关键实体,BERT是一种强大的语言表示模型,在各种NLP任务中显著... 目录环境准备加载预训练BERT模型准备数据集标记与对齐微调 BERT最后总结环境准备在继续之前,确

pytorch+torchvision+python版本对应及环境安装

《pytorch+torchvision+python版本对应及环境安装》本文主要介绍了pytorch+torchvision+python版本对应及环境安装,安装过程中需要注意Numpy版本的降级,... 目录一、版本对应二、安装命令(pip)1. 版本2. 安装全过程3. 命令相关解释参考文章一、版本对

SpringBoot接收JSON类型的参数方式

《SpringBoot接收JSON类型的参数方式》:本文主要介绍SpringBoot接收JSON类型的参数方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、jsON二、代码准备三、Apifox操作总结一、JSON在学习前端技术时,我们有讲到过JSON,而在

JAVA虚拟机中 -D, -X, -XX ,-server参数使用

《JAVA虚拟机中-D,-X,-XX,-server参数使用》本文主要介绍了JAVA虚拟机中-D,-X,-XX,-server参数使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录一、-D参数二、-X参数三、-XX参数总结:在Java开发过程中,对Java虚拟机(JVM)的启动参数进

解读docker运行时-itd参数是什么意思

《解读docker运行时-itd参数是什么意思》在Docker中,-itd参数组合用于在后台运行一个交互式容器,同时保持标准输入和分配伪终端,这种方式适合需要在后台运行容器并保持交互能力的场景... 目录docker运行时-itd参数是什么意思1. -i(或 --interactive)2. -t(或 --

从零教你安装pytorch并在pycharm中使用

《从零教你安装pytorch并在pycharm中使用》本文详细介绍了如何使用Anaconda包管理工具创建虚拟环境,并安装CUDA加速平台和PyTorch库,同时在PyCharm中配置和使用PyTor... 目录背景介绍安装Anaconda安装CUDA安装pytorch报错解决——fbgemm.dll连接p

pycharm远程连接服务器运行pytorch的过程详解

《pycharm远程连接服务器运行pytorch的过程详解》:本文主要介绍在Linux环境下使用Anaconda管理不同版本的Python环境,并通过PyCharm远程连接服务器来运行PyTorc... 目录linux部署pytorch背景介绍Anaconda安装Linux安装pytorch虚拟环境安装cu