2021NIPS | 即插即用,标准化注意力机制NAM

2024-02-29 17:20

本文主要是介绍2021NIPS | 即插即用,标准化注意力机制NAM,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

NAM: Normalization-based Attention Module 

paper:https://arxiv.org/pdf/2111.12419.pdf

code:https://github.com/Christian-lyc/NAM

摘要 

        注意机制是近年来人们普遍关注的研究兴趣之一。它帮助深度神经网络抑制较不显著的像素或通道。以往的许多研究都集中于通过注意力操作来捕捉显著特征。这些方法成功地利用了不同特征维度上的互信息。然而,它们没有考虑到权重的贡献因素,而权重能够进一步抑制不重要的信道或像素。本文利用权重的贡献因素来改善注意机制。使用一个批处理(BN)归一化的缩放因子,它使用标准偏差来表示权重的重要性。这可以避免添加在SE、BAM和CBAM中使用的全连接和卷积层。因此,提出了一种有效的注意机制——基于标准化的注意模块(NAM)。

论文背景

        许多先前的工作试图通过抑制无关紧要的权值来改善神经网络的性能。Squeeze-and-Excitation Networks(SENet) 将空间信息整合到通道特征响应中,并使用两个多层感知器(MLP)层计算相应的注意。Bottleneck Attention Module(BAM)并行构建分离的空间子模块和通道子模块,它们可以嵌入到每个Bottleneck  Block中。Convolutional Block Attention Module(CBAM)提供了一种顺序嵌入通道和空间注意力子模块的解决方案。为了避免忽视跨维度的相互作用,Triplet Attention Module (TAM) 通过旋转特征图考虑维度相关性。然而,这些工作忽略了来自训练中调整权重的信息。因此,本文的目标是通过利用训练模型权重的方差度量来突出显著特征。

论文主要思想

        本文提出NAM作为一种高效和轻量级的注意机制。采用了来自CBAM的模块。并重新设计通道和空间注意子模块。然后,在每个网络块的末端嵌入一个NAM模块。对于残差网络,它被嵌入在残余结构的末端。对于信道注意子模块,使用了批归一化(BN)的缩放因子。尺度因子测量了信道的方差,并表明了它们的重要性。

其中\mu _{B}为均值,\sigma ^{2}_{B}为方差;\gamma\beta是可训练的仿射变换参数(尺度和位移)。 

通道注意力子模块如图1所示,其中M_{c}表示输出特征。\gamma是每个通道的比例因子,权值为W_{\gamma }=\gamma_{i}/\sum_{j=0}\, \: \gamma_{j}。这里还将BN的比例因子应用于空间维度,来衡量空间特征的重要性。

对应的空间注意力子模块如图2所示,其中输出记为M_{s}\lambda为比例因子,权值为W_{\lambda }=\lambda {i}/\sum_{j=0}\, \: \lambda _{j}

keras实现 

以下是根据论文和pytorch源码实现的keras版本(支持Tensorflow1.x)。

from keras.layers import Layer
import numpy as np
import keras.backend as Kclass NAM(Layer):def __init__(self, **kwargs):super(NAM, self).__init__()self.bn = BatchNormalization()def build(self, input_shape):self.bn.build(input_shape)self._trainable_weights += self.bn._trainable_weightssuper(NAM, self).build(input_shape)def call(self, x):residual = xx = self.bn(x)weights = np.abs(self.bn.gamma) / np.sum(np.abs(self.bn.gamma))x = x * weightsx = K.sigmoid(x) * residualreturn x

声明:本内容来源网络,版权属于原作者,图片来源原论文。如有侵权,联系删除。

创作不易,欢迎大家点赞评论收藏关注!(想看更多最新的注意力机制文献欢迎关注浏览我的博客)

这篇关于2021NIPS | 即插即用,标准化注意力机制NAM的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/759475

相关文章

Android ClassLoader加载机制详解

《AndroidClassLoader加载机制详解》Android的ClassLoader负责加载.dex文件,基于双亲委派模型,支持热修复和插件化,需注意类冲突、内存泄漏和兼容性问题,本文给大家介... 目录一、ClassLoader概述1.1 类加载的基本概念1.2 android与Java Class

Spring事务传播机制最佳实践

《Spring事务传播机制最佳实践》Spring的事务传播机制为我们提供了优雅的解决方案,本文将带您深入理解这一机制,掌握不同场景下的最佳实践,感兴趣的朋友一起看看吧... 目录1. 什么是事务传播行为2. Spring支持的七种事务传播行为2.1 REQUIRED(默认)2.2 SUPPORTS2

MySQL中的锁机制详解之全局锁,表级锁,行级锁

《MySQL中的锁机制详解之全局锁,表级锁,行级锁》MySQL锁机制通过全局、表级、行级锁控制并发,保障数据一致性与隔离性,全局锁适用于全库备份,表级锁适合读多写少场景,行级锁(InnoDB)实现高并... 目录一、锁机制基础:从并发问题到锁分类1.1 并发访问的三大问题1.2 锁的核心作用1.3 锁粒度分

Redis的持久化之RDB和AOF机制详解

《Redis的持久化之RDB和AOF机制详解》:本文主要介绍Redis的持久化之RDB和AOF机制,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述RDB(Redis Database)核心原理触发方式手动触发自动触发AOF(Append-Only File)核

PostgreSQL中MVCC 机制的实现

《PostgreSQL中MVCC机制的实现》本文主要介绍了PostgreSQL中MVCC机制的实现,通过多版本数据存储、快照隔离和事务ID管理实现高并发读写,具有一定的参考价值,感兴趣的可以了解一下... 目录一 MVCC 基本原理python1.1 MVCC 核心概念1.2 与传统锁机制对比二 Postg

Maven 配置中的 <mirror>绕过 HTTP 阻断机制的方法

《Maven配置中的<mirror>绕过HTTP阻断机制的方法》:本文主要介绍Maven配置中的<mirror>绕过HTTP阻断机制的方法,本文给大家分享问题原因及解决方案,感兴趣的朋友一... 目录一、问题场景:升级 Maven 后构建失败二、解决方案:通过 <mirror> 配置覆盖默认行为1. 配置示

Redis过期删除机制与内存淘汰策略的解析指南

《Redis过期删除机制与内存淘汰策略的解析指南》在使用Redis构建缓存系统时,很多开发者只设置了EXPIRE但却忽略了背后Redis的过期删除机制与内存淘汰策略,下面小编就来和大家详细介绍一下... 目录1、简述2、Redis http://www.chinasem.cn的过期删除策略(Key Expir

Go语言中Recover机制的使用

《Go语言中Recover机制的使用》Go语言的recover机制通过defer函数捕获panic,实现异常恢复与程序稳定性,具有一定的参考价值,感兴趣的可以了解一下... 目录引言Recover 的基本概念基本代码示例简单的 Recover 示例嵌套函数中的 Recover项目场景中的应用Web 服务器中

Jvm sandbox mock机制的实践过程

《Jvmsandboxmock机制的实践过程》:本文主要介绍Jvmsandboxmock机制的实践过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、背景二、定义一个损坏的钟1、 Springboot工程中创建一个Clock类2、 添加一个Controller

Dubbo之SPI机制的实现原理和优势分析

《Dubbo之SPI机制的实现原理和优势分析》:本文主要介绍Dubbo之SPI机制的实现原理和优势,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Dubbo中SPI机制的实现原理和优势JDK 中的 SPI 机制解析Dubbo 中的 SPI 机制解析总结Dubbo中