本文主要是介绍Swin—Transformer学习笔记，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一、网络框架
二、Patch Merging
图像长和宽减半，通道数增加一倍
三、W-MSA
目的：减少计算量
缺点：窗口之间无法进行信息交互
四、SW-MSA
目的：实现不同window之间的信息交互
为了不增加计算量，移动window并增加Mask-MSA
计算完后将数据移动到原来位置
五、Relative position bias
bias才是Attention中B的数值，我们训练的是bias table中的参数
六、模型详细配置参数
这篇关于Swin—Transformer学习笔记的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
