本文主要是介绍【第23篇】NAM：基于标准化的注意力模块，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
文章目录
- 摘要
- 1 简介
- 2 相关工作
- 3 方法
- 4 实验
- 5 结论
论文地址：https://arxiv.org/abs/2111.12419
Github:https://github.com/Christian-lyc/NAM
摘要
识别不太显着的特征是模型压缩的关键。 然而，它尚未在革命性的注意力机制中进行研究。 在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），它抑制了不太显着的权重。 它将权重稀疏惩罚应用于注意力模块，从而使它们在保持相似性能的同时具有更高的计算效率。 与 Resnet 和 Mobilenet 上的其他三种注意力机制的比较表明，我们的方法具有更高的准确性。 本文的代码可以在 https://github.com/Christian-l
这篇关于【第23篇】NAM：基于标准化的注意力模块的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
