YOLO算法改进5【中阶改进篇】：添加SENet注意力机制

2023-11-03 18:04
文章标签 算法 yolo 机制 改进 注意力 senet 中阶

本文主要是介绍YOLO算法改进5【中阶改进篇】：添加SENet注意力机制，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在这里插入图片描述

SE-Net 是 ImageNet 2017（ImageNet 收官赛）的冠军模型，是由WMW团队发布。具有复杂度低，参数少和计算量小的优点。且SENet 思路很简单，很容易扩展到已有网络结构如 Inception 和 ResNet 中。
我们可以看到，已经有很多工作在空间维度上来提升网络的性能。那么很自然想到，网络是否可以从其他层面来考虑去提升性能，比如考虑特征通道之间的关系？作者基于这一点并提出了Squeeze-and-Excitation Networks（简称SE-Net）。在该结构中，Squeeze和Excitation是两个非常关键的操作，所以以此来命名。作者出发点是希望建立特征通道之间的相互依赖关系。并未引入一个新的空间维度来进行特征通道间的融合，而是采用了一种全新的“特征重标定”策略。具体来说，就是通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。

一、不改变原网络深度的改进方法

在这里插入图片描述
首先是打开models/yolov5s.yaml文件，我们在backbone中的SPPF之前增加SENet。增添位置如下，是将backbone中第4个C3模块替换为SE_Block，如上图。需要注意的是通道数要匹配，SENet并不改变通道数，由于原C3的输出通道数为1024*0.5=512，所以我们这里的写的是1024，这里的1024是传入到上面我们定义的Class SE_Block(nn.Moudel)中的c2参数，c1参数是由上一层的输出通道数控制的。参考链接

1.添加SENet.yaml文件
添加至/models/文件中

# Parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:- [10,13, 16,30, 33,23]  # P3/8- [30,61, 62,45, 59,119]  # P4/16- [116,90, 156,198, 373,326]  # P5/32# YOLOv5 v6.0 backbone
backbone:# [from, number, module, args][[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2  conv1(3,32,k=6,s=2,p=2)[-1, 1, Conv, [128, 3, 2]],  # 1-P2/4  conv2(32,64,k=3,s=2,p=1)[-1, 3, C3, [128]],  # C3_1 有Bottleneck[-1, 1, Conv, [256, 3, 2]],  # 3-P3/8  conv3(64,128,k=3,s=2,p=1)[-1, 6, C3, [256]], # C3_2 Bottleneck重复两次[-1, 1, Conv, [512, 3, 2]],  # 5-P4/16  conv4(128,256,k=3,s=2,p=1)[-1, 9, C3, [512]], # C3_3 Bottleneck重复三次 输出256通道[-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32   Conv5(256,512,k=3,s=2,p=1)#[-1, 3, C3, [1024]],  # C3_4 Bottleneck重复1次  输出512通道[-1, 1, SE_Block, [1024]],  # 增加通道注意力机制 输出为512通道[-1, 1, SPPF, [1024, 5]],  # 9  每个都是K为5的池化]# YOLOAir v6.0 head
head:[[-1, 1, Conv, [512, 1, 1]],[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 6], 1, Concat, [1]],  # cat backbone P4[-1, 3, C3, [512, False]],  # 13[-1, 1, Conv, [256, 1, 1]],[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 4], 1, Concat, [1]],  # cat backbone P3[-1, 3, C3, [256, False]],  # 17 (P3/8-small)[-1, 1, Conv, [256, 3, 2]],[[-1, 14], 1, Concat, [1]],  # cat head P4[-1, 3, C3, [512, False]],  # 20 (P4/16-medium)[-1, 1, Conv, [512, 3, 2]],[[-1, 10], 1, Concat, [1]],  # cat head P5[-1, 3, C3, [1024, False]],  # 23 (P5/32-large)[-1, 1, ShuffleAttention, [1024]], # 修改[[17, 20, 24], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)]

2.common配置
在models/common.py文件中增加以下代码
在这里插入图片描述

  • 上图是作者提出的SE模块的示意图。给定一个输入 x x x，其特征通道数为 c 1 c_1 c1​，通过一系列卷积变换后得到一个特征通道数为 c 2 c_2 c2​的特征。与传统的CNN不一样的是，接下来将通过三个操作来重标定前面得到的特征。
  • 首先是Squeeze操作，顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，这一点在很多任务中都是非常有用的。
  • 其次是Excitation操作，它是一个类似于循环神经网络中门的机制。通过参数来为每个特征通道生成权重，其中参数被学习用来显式地建模特征通道间的相关性。
  • 最后是一个Reweight的操作，我们将Excitation的输出的权重看做是进过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。
    ——————————————————————————————————————————
    图2 SE模块应用举例
  • 这里的注意力机制想法非常简单，即针对每一个 channel 进行池化处理，就得到了 channel
    个元素，通过两个全连接层，得到输出的这个向量。值得注意的是，第一个全连接层的节点个数等于 channel 个数的 1 4 \frac{1}{4} 41​（论文作者发现如果将第一个全连接层的节点个数替换成原来的 1 4 \frac{1}{4} 41​，可以在参数数量适度增加的情况下提高准确性，而且并没有明显的延迟。），然后第二个全连接层的节点就和channel 保持一致。这个得到的输出就相当于对原始的特征矩阵的每个 channel 分析其重要程度，越重要的赋予越大的权重，越不重要的就赋予越小的权重。
  • 就拿上图来说，首先对四个通道进行平均池化得到四个值，然后经过两个全连接层之后得到通道权重的输出。等权重输出以后，则将对应通道的权重乘以原来的特征矩阵就得到了新的特征矩阵，以上便是SE模块的详细实现过程。
class SE_Block(nn.Module):def __init__(self, c1, c2):super().__init__()self.avg_pool = nn.AdaptiveAvgPool2d(1)  # 平均池化self.fc = nn.Sequential(nn.Linear(c1, c2 // 16, bias=False),nn.ReLU(inplace=True),nn.Linear(c2 // 16, c2, bias=False),nn.Sigmoid())def forward(self, x):# 添加注意力模块b, c, _, _ = x.size()  # 分别获取batch_size,channely = self.avg_pool(x).view(b, c)  # y的shape为【batch_size, channels】y = self.fc(y).view(b, c, 1, 1)  # shape为【batch_size, channels, 1, 1】out = x * y.expand_as(x)  # shape 为【batch, channels,feature_w, feature_h】return out

3.yolo.py配置
找到 models/yolo.py 文件中 parse_model() 类，在列表中添加SE_Block，这样可以获得我们要传入的参数。

if m in [Conv, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF, DWConv, MixConv2d, Focus, CrossConv,BottleneckCSP, C3, C3TR, C3SPP, C3Ghost, SE_Block]:

二、改变原网络深度的改进方法

在这里插入图片描述
在这里插入图片描述
比如我要在第一个C3后面加一个SE。yaml的修改如下。接下来稍微麻烦一点了【需要你了解v5的每层结构】，由于我们在backbone中加入了一层，也就是相当于后面的网络与之前相比都往后移动了一层，那么在后面的Concat部分中融合的特征层的索引也会收到影响，因此我们需要的是修改Concat层的from参数。参考链接

1.添加SENet.yaml文件
添加至/models/文件中

# Parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:- [10,13, 16,30, 33,23]  # P3/8- [30,61, 62,45, 59,119]  # P4/16- [116,90, 156,198, 373,326]  # P5/32# YOLOv5 v6.0 backbone
backbone:# [from, number, module, args][[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2  conv1(3,32,k=6,s=2,p=2)[-1, 1, Conv, [128, 3, 2]],  # 1-P2/4  conv2(32,64,k=3,s=2,p=1)[-1, 3, C3, [128]],  # C3_1 有Bottleneck[-1, 1, SE_Block, [128]],  # 增加通道注意力机制 输出为512通道[-1, 1, Conv, [256, 3, 2]],  # 3-P3/8  conv3(64,128,k=3,s=2,p=1)[-1, 6, C3, [256]], # C3_2 Bottleneck重复两次[-1, 1, Conv, [512, 3, 2]],  # 5-P4/16  conv4(128,256,k=3,s=2,p=1)[-1, 9, C3, [512]], # C3_3 Bottleneck重复三次 输出256通道[-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32   Conv5(256,512,k=3,s=2,p=1)[-1, 3, C3, [1024]],  # C3_4 Bottleneck重复1次  输出512通道[-1, 1, SPPF, [1024, 5]],  # 9  每个都是K为5的池化]
"""可以看到实际就是每个Concat也后面移动一层，因此yaml修改为一下。最终的Detect的from也需要修改。""
# YOLOAir v6.0 head
head:[[-1, 1, Conv, [512, 1, 1]],  # conv1(512,256,1,1)[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 7], 1, Concat, [1]],  # cat backbone P4  将C3_3与SPPF出来后的上采样拼接 拼接后的通道为512[-1, 3, C3, [512, False]],  # 13  conv(256,256,k=1,s=1)  没有残差边[-1, 1, Conv, [256, 1, 1]], # conv2(256,128,1,1)[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 5], 1, Concat, [1]],  # cat backbone P3  与C3_2拼接，输出256通道[-1, 3, C3, [256, False]],  # 17 (P3/8-small) conv3(128,128,1,1)[-1, 1, Conv, [256, 3, 2]],# conv4(128,128,3,2,1)[[-1, 15], 1, Concat, [1]],  # cat head P4  拼接后256通道[-1, 3, C3, [512, False]],  # 20 (P4/16-medium)  conv5(256,256,1,1)[-1, 1, Conv, [512, 3, 2]],# conv6(256,256,3,2,1)[[-1, 11], 1, Concat, [1]],  # cat head P5  拼接后是512[-1, 3, C3, [1024, False]],  # 23 (P5/32-large)[[18, 21, 24], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)]

2.common配置
在models/common.py文件中增加以下代码

class SE_Block(nn.Module):def __init__(self, c1, c2):super().__init__()self.avg_pool = nn.AdaptiveAvgPool2d(1)  # 平均池化self.fc = nn.Sequential(nn.Linear(c1, c2 // 16, bias=False),nn.ReLU(inplace=True),nn.Linear(c2 // 16, c2, bias=False),nn.Sigmoid())def forward(self, x):# 添加注意力模块b, c, _, _ = x.size()  # 分别获取batch_size,channely = self.avg_pool(x).view(b, c)  # y的shape为【batch_size, channels】y = self.fc(y).view(b, c, 1, 1)  # shape为【batch_size, channels, 1, 1】out = x * y.expand_as(x)  # shape 为【batch, channels,feature_w, feature_h】return out

3.yolo.py配置
找到 models/yolo.py 文件中 parse_model() 类，在列表中添加SE_Block，这样可以获得我们要传入的参数。

if m in [Conv, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF, DWConv, MixConv2d, Focus, CrossConv,BottleneckCSP, C3, C3TR, C3SPP, C3Ghost, SE_Block]:

这篇关于YOLO算法改进5【中阶改进篇】：添加SENet注意力机制的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/339939。

相关文章

java中反射(Reflection)机制举例详解

java中反射(Reflection)机制举例详解

《java中反射(Reflection)机制举例详解》Java中的反射机制是指Java程序在运行期间可以获取到一个对象的全部信息,：本文主要介绍java中反射(Reflection)机制的相关资料... 目录一、什么是反射？二、反射的用途三、获取Class对象四、Class类型的对象使用场景1五、Class
阅读更多...
SpringBoot实现MD5加盐算法的示例代码

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.
阅读更多...
Java时间轮调度算法的代码实现

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组（时间轮）和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时
阅读更多...
如何通过Golang的container/list实现LRU缓存算法

如何通过Golang的container/list实现LRU缓存算法

《如何通过Golang的container/list实现LRU缓存算法》文章介绍了Go语言中container/list包实现的双向链表,并探讨了如何使用链表实现LRU缓存,LRU缓存通过维护一个双向... 目录力扣：146. LRU 缓存主要结构 List 和 Element常用方法1. 初始化链表2.
阅读更多...
Nginx之upstream被动式重试机制的实现

Nginx之upstream被动式重试机制的实现

《Nginx之upstream被动式重试机制的实现》本文主要介绍了Nginx之upstream被动式重试机制的实现,可以通过proxy_next_upstream来自定义配置,具有一定的参考价值,感兴... 目录默认错误选择定义错误指令配置proxy_next_upstreamproxy_next_upst
阅读更多...
golang字符串匹配算法解读

golang字符串匹配算法解读

《golang字符串匹配算法解读》文章介绍了字符串匹配算法的原理,特别是Knuth-Morris-Pratt（KMP）算法,该算法通过构建模式串的前缀表来减少匹配时的不必要的字符比较,从而提高效率,在... 目录简介KMP实现代码总结简介字符串匹配算法主要用于在一个较长的文本串中查找一个较短的字符串（称为
阅读更多...
通俗易懂的Java常见限流算法具体实现

通俗易懂的Java常见限流算法具体实现

《通俗易懂的Java常见限流算法具体实现》：本文主要介绍Java常见限流算法具体实现的相关资料,包括漏桶算法、令牌桶算法、Nginx限流和Redis+Lua限流的实现原理和具体步骤,并比较了它们的... 目录一、漏桶算法1.漏桶算法的思想和原理2.具体实现二、令牌桶算法1.令牌桶算法流程:2.具体实现2.1
阅读更多...
Spring排序机制之接口与注解的使用方法

Spring排序机制之接口与注解的使用方法

《Spring排序机制之接口与注解的使用方法》本文介绍了Spring中多种排序机制,包括Ordered接口、PriorityOrdered接口、@Order注解和@Priority注解,提供了详细示例... 目录一、Spring 排序的需求场景二、Spring 中的排序机制1、Ordered 接口2、Pri
阅读更多...
MySQL 缓存机制与架构解析(最新推荐)

MySQL 缓存机制与架构解析(最新推荐)

《MySQL缓存机制与架构解析(最新推荐)》本文详细介绍了MySQL的缓存机制和整体架构,包括一级缓存（InnoDBBufferPool）和二级缓存（QueryCache）,文章还探讨了SQL... 目录一、mysql缓存机制概述二、MySQL整体架构三、SQL查询执行全流程四、MySQL 8.0为何移除查
阅读更多...
一文详解Java Condition的await和signal等待通知机制

一文详解Java Condition的await和signal等待通知机制

《一文详解JavaCondition的await和signal等待通知机制》这篇文章主要为大家详细介绍了JavaCondition的await和signal等待通知机制的相关知识,文中的示例代码讲... 目录1. Condition的核心方法2. 使用场景与优势3. 使用流程与规范基本模板生产者-消费者示例
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2