Unet改进3：在不同位置添加NAMAttention注意力机制

本文主要是介绍Unet改进3：在不同位置添加NAMAttention注意力机制，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文内容：在不同位置添加NAMAttention注意力机制

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

---

论文简介

识别不太显著的特征是模型压缩的关键。然而，它在革命性的注意机制中尚未得到研究。在这项工作中，我们提出了一种新的基于归一化的注意力模块(NAM)，它抑制了较不显著的权重。它将权重稀疏性惩罚应用于注意力模块，从而使它们在保持类似性能的同时提高计算效率。与Resnet和Mobilenet上的其他三种注意机制的比较表明，我们的方法具有更高的准确性

1.步骤一

新建blocks/NAMAattention.py文件，添加如下代码：

#####NAMAttention
import torch.nn as nn
import torch
from torch.nn import functional as Fclass Channel_Att(nn.Module):def __init__(self, channels, t=16):super(Channel_Att, self).__init__()self.channels = c

这篇关于Unet改进3：在不同位置添加NAMAttention注意力机制的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---