本文主要是介绍图像中的attention及QKV机制解释,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
简单记录/推荐两篇博客,后续细化写一下:
图像中的各类 attention
https://blog.csdn.net/weixin_44505185/article/details/127013204
Cross-attention的直观理解
首先理解,cross-attention 是两个不同向量间的相关计算,一般Q叫做查询向量,K=V,V是被查询向量;
简单来讲,对图像而言,cross-attention可以看做:
将重要特征的强弱程度权重系数矩阵施加到图像特征V上,得到最终的带有注意力权重分布的图像特征,在特征图V上属于Q的特征会被加强,不属于Q的特征会被减弱。
https://blog.csdn.net/kdongyi/article/details/137084791
这篇关于图像中的attention及QKV机制解释的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!