文章目录 TransNeXt: Robust Foveal Visual Perception for Vision Transformers论文中的知识补充非QKV注意力变体仿生视觉建模 动机现状问题 贡献方法 TransNeXt: Robust Foveal Visual Perception for Vision Transformers 论文链接: https://o

论文链接：https://arxiv.org/pdf/2311.17132.pdf 代码链接：https://github.com/DaiShiResearch/TransNeXt 一、摘要   1、引入了Pixel-focused Attention（PFA），它采用双路径设计。在一个路径中，每个查询对其最近邻特征具有细粒度的注意力，而在另一个路径中，每个查询对空间下采样特征具有粗粒度的注

文章目录 摘要1、引言2、相关工作3、方法3.1、聚合像素焦点注意力3.1.1、像素焦点注意力3.1.2、在单个混合器中聚合不同的注意力3.1.3、克服多尺度图像输入3.1.4、特征分析 3.2、卷积门控单元（Convolutional GLU）3.2.1、动机3.2.2、重新思考通道混合器设计 3.3、TransNeXt的架构设计 4、实验