RT-DETR原创改进|加入SCNet中的SCConv[CVPR2020]自校准卷积模块！

2024-05-14 21:44
文章标签 模块 卷积 加入 改进 rt 原创 校准 cvpr2020 detr scconv scnet

本文主要是介绍RT-DETR原创改进|加入SCNet中的SCConv[CVPR2020]自校准卷积模块！，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

⭐⭐ RT-DETR改进专栏|包含主干、模块、注意力机制、检测头等前沿创新 ⭐⭐

 一、 论文介绍

        论文链接：http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf

        代码链接：https://gitcode.com/MCG-NKU/SCNet/

 文章摘要：

        CNN的最新进展主要致力于设计更复杂的架构来增强其表示学习能力。在本文中，我们考虑在不调整模型架构的情况下改进CNN的基本卷积特征转换过程。为此，我们提出了一种新的自校准卷积，通过内部通信显式扩展每个卷积层的视场，从而丰富输出特征。特别是，与使用小核(例如3 × 3)融合空间和通道信息的标准卷积不同，我们的自校准卷积通过一种新的自校准操作，自适应地在每个空间位置周围构建远程空间和通道间依赖关系。因此，它可以通过显式地结合更丰富的信息来帮助CNN生成更具判别性的表示。我们的自校准卷积设计简单而通用，可以很容易地应用于增加标准卷积层，而无需引入额外的参数和复杂性。大量的实验表明，当将我们的自校准卷积应用于不同的主干时，基线模型可以在各种视觉任务中得到显着改进，包括图像识别，目标检测，实例分割和关键点检测，而无需改变网络架构。我们希望这项工作可以为未来的研究提供一种有前途的方法来设计新的卷积特征变换，以改进卷积网络。

总结：作者设计了一个即插即用的自校准卷积模块来替代普通的卷积块，称为SC模块（Self-Calibrated Convolutions）， 感受野更大，可以关注到更多的上下文信息；使用方便，可以像普通卷积模块一样使用，不需要引入多余参数，适用于多种任务。

二、 加入到RT-DETR中

2.1 复制代码

        复制代码粘到ultralytics->nn->modules->conv.py文件中，在顶部导入torch.nn.functional包，(torch.nn.functional as F)，将代码粘贴于下方，并在__all__中声明，如下图所示：

import torch.nn.functional as F__all__ = ("Conv","Conv2","LightConv","DWConv","DWConvTranspose2d","ConvTranspose","Focus","GhostConv","ChannelAttention","SpatialAttention","CBAM","Concat","RepConv","SCConv",
)class SCConv(nn.Module):def __init__(self, inplanes, planes, stride, padding, dilation, groups, pooling_r, norm_layer):super(SCConv, self).__init__()self.k2 = nn.Sequential(nn.AvgPool2d(kernel_size=pooling_r, stride=pooling_r),nn.Conv2d(inplanes, planes, kernel_size=3, stride=1,padding=padding, dilation=dilation,groups=groups, bias=False),eval(norm_layer)(planes),)self.k3 = nn.Sequential(nn.Conv2d(inplanes, planes, kernel_size=3, stride=1,padding=padding, dilation=dilation,groups=groups, bias=False),eval(norm_layer)(planes),)self.k4 = nn.Sequential(nn.Conv2d(inplanes, planes, kernel_size=3, stride=stride,padding=padding, dilation=dilation,groups=groups, bias=False),eval(norm_layer)(planes),)def forward(self, x):identity = xout = torch.sigmoid(torch.add(identity, F.interpolate(self.k2(x), identity.size()[2:]))) # sigmoid(identity + k2)out = torch.mul(self.k3(x), out) # k3 * sigmoid(identity + k2)out = self.k4(out) # k4return out

2.2 更改modules.__init__.py文件 

       打开ultralytics->nn->modules->__init__.py，在第64行与81行加入SCConv进行声明。

2.3 更改task.py文件 

        打开ultralytics->nn路径下的tasks.py文件，首先在第51行加入SCConv导入模块，然后在第928行（或其他合适的位置）加入下方代码：

   elif m is SCConv:c2 = args[0]c1 = ch[f]args = [c1, c2, *args[1:]]

 2.4 更改yaml文件 

        创建yaml文件，使用SCConv替换yaml文件中原有的Conv模块。

# Ultralytics YOLO 🚀, AGPL-3.0 license
# RT-DETR-l object detection model with P3-P5 outputs. For details see https://docs.ultralytics.com/models/rtdetr# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n-cls.yaml' will call yolov8-cls.yaml with scale 'n'# [depth, width, max_channels]l: [1.00, 1.00, 1024]backbone:# [from, repeats, module, args]- [-1, 1, HGStem, [32, 48]] # 0-P2/4- [-1, 6, HGBlock, [48, 128, 3]] # stage 1- [-1, 1, DWConv, [128, 3, 2, 1, False]] # 2-P3/8- [-1, 6, HGBlock, [96, 512, 3]] # stage 2- [-1, 1, DWConv, [512, 3, 2, 1, False]] # 4-P3/16- [-1, 6, HGBlock, [192, 1024, 5, True, False]] # cm, c2, k, light, shortcut- [-1, 6, HGBlock, [192, 1024, 5, True, True]]- [-1, 6, HGBlock, [192, 1024, 5, True, True]] # stage 3- [-1, 1, DWConv, [1024, 3, 2, 1, False]] # 8-P4/32- [-1, 6, HGBlock, [384, 2048, 5, True, False]] # stage 4head:- [-1, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 10 input_proj.2- [-1, 1, AIFI, [1024, 8]]- [-1, 1, Conv, [256, 1, 1]] # 12, Y5, lateral_convs.0- [-1, 1, nn.Upsample, [None, 2, "nearest"]]- [7, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 14 input_proj.1- [[-2, -1], 1, Concat, [1]]- [-1, 3, RepC3, [256]] # 16, fpn_blocks.0- [-1, 1, SCConv, [256, 1, 1, 1, 1, 4, 'nn.BatchNorm2d']] # 17, Y4, lateral_convs.1- [-1, 1, nn.Upsample, [None, 2, "nearest"]]- [3, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 19 input_proj.0- [[-2, -1], 1, Concat, [1]] # cat backbone P4- [-1, 3, RepC3, [256]] # X3 (21), fpn_blocks.1- [-1, 1, Conv, [256, 3, 2]] # 22, downsample_convs.0- [[-1, 17], 1, Concat, [1]] # cat Y4- [-1, 3, RepC3, [256]] # F4 (24), pan_blocks.0- [-1, 1, Conv, [256, 3, 2]] # 25, downsample_convs.1- [[-1, 12], 1, Concat, [1]] # cat Y5- [-1, 3, RepC3, [256]] # F5 (27), pan_blocks.1- [[21, 24, 27], 1, RTDETRDecoder, [nc]] # Detect(P3, P4, P5)

 2.5 修改train.py文件

        在train.py脚本中填入创建好的yaml路径，运行即可训练。

这篇关于RT-DETR原创改进|加入SCNet中的SCConv[CVPR2020]自校准卷积模块！的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/989934。

相关文章

（超详细）YOLOV7改进-Soft-NMS(支持多种IoU变种选择)

（超详细）YOLOV7改进-Soft-NMS(支持多种IoU变种选择)

1.在until/general.py文件最后加上下面代码 2.在general.py里面找到这代码，修改这两个地方 3.之后直接运行即可
阅读更多...
YOLOv8改进 | SPPF | 具有多尺度带孔卷积层的ASPP【CVPR2018】

YOLOv8改进 | SPPF | 具有多尺度带孔卷积层的ASPP【CVPR2018】

💡💡💡本专栏所有程序均经过测试，可成功执行💡💡💡 专栏目录 ：《YOLOv8改进有效涨点》专栏介绍 & 专栏目录 | 目前已有40+篇内容，内含各种Head检测头、损失函数Loss、Backbone、Neck、NMS等创新点改进——点击即可跳转 Atrous Spatial Pyramid Pooling (ASPP) 是一种在深度学习框架中用于语义分割的网络结构，它旨
阅读更多...
iptables(7)扩展模块state

iptables(7)扩展模块state

简介         前面文章我们已经介绍了一些扩展模块，如iprange、string、time、connlimit、limit，还有扩展匹配条件如--tcp-flags、icmp。这篇文章我们介绍state扩展模块  state          在 iptables 的上下文中，--state 选项并不是直接关联于一个扩展模块，而是与 iptables 的 state 匹配机制相关，特
阅读更多...
python 在pycharm下能导入外面的模块，到terminal下就不能导入

python 在pycharm下能导入外面的模块，到terminal下就不能导入

项目结构如下，在ic2ctw.py 中导入util，在pycharm下不报错，但是到terminal下运行报错  File "deal_data/ic2ctw.py", line 3, in <module>     import util 解决方案： 暂时方案：在终端下：export PYTHONPATH=/Users/fujingling/PycharmProjects/PSENe
阅读更多...
[FPGA][基础模块]跨时钟域传播脉冲信号

[FPGA][基础模块]跨时钟域传播脉冲信号

clk_a 周期为10ns clk_b 周期为34ns 代码: module pulse(input clk_a,input clk_b,input signal_a,output reg signal_b);reg [4:0] signal_a_widen_maker = 0;reg signal_a_widen;always @(posedge clk_a)if(signal_a)
阅读更多...
加入了一个手游工作室~感觉超级棒的，人怎么可以都这么好的

加入了一个手游工作室~感觉超级棒的，人怎么可以都这么好的

嘿嘿，很幸运在大二下学期上到一半的时候加入了一个手游工作室，原来以为就是一个很商业的工作室，没有想到里面有这么浓厚的人文气息，感觉超赞的~~。这下学习就变得更有动力了，不只是为了找一份工作而去奋斗了，为的更多的还可以变为是为了这个大环境贡献出我所有的力量，今天就自己在这通宵啊，呜呜，人有点少啊，幸好自己订了一些目标，要不然还真的不知道该咋么办呢。
阅读更多...
TableView 当前选中的行号。 默认会使哪一行选中 加入导航条后contentInset向下偏移的64

TableView 当前选中的行号。 默认会使哪一行选中 加入导航条后contentInset向下偏移的64

1.得到当前选中的行号     NSLog(@"%ld %s",  [self.tableView indexPathForSelectedRow].row,__func__); 2.默认选中表格的那一行     [self.tableView selectRowAtIndexPath:[NSIndexPath indexPathForRow:0 inSection:0 ]
阅读更多...
【图像识别系统】昆虫识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50

【图像识别系统】昆虫识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50

一、介绍 昆虫识别系统，使用Python作为主要开发语言。通过TensorFlow搭建ResNet50卷积神经网络算法（CNN）模型。通过对10种常见的昆虫图片数据集（‘蜜蜂’, ‘甲虫’, ‘蝴蝶’, ‘蝉’, ‘蜻蜓’, ‘蚱蜢’, ‘蛾’, ‘蝎子’, ‘蜗牛’, ‘蜘蛛’）进行训练，得到一个识别精度较高的H5格式模型文件，然后使用Django搭建Web网页端可视化操作界面，实现用户上传一
阅读更多...
spring-boot-maven-plugin多模块install问题

spring-boot-maven-plugin多模块install问题

一、问题描述： 　　项目分多个模块，open-eureka注册中心、open-provider服务提供者、open-common公共部分，provider依赖common。父pom使用spring-boot-maver-plugin插件，项目直接运行Main主类没问题，但是install报common中的类找不到符号. 二、查找问题： 　　spring-boot-maven-plugin 打
阅读更多...
把Sublime Text 2 加入右键菜单（带图标）, Edit with Sublime Text

把Sublime Text 2 加入右键菜单（带图标）, Edit with Sublime Text

Sublime Text 2 是现在很受大家欢迎的编辑器了，不仅是在web前端，在书定简单的php、Js等代码时，也是相当的好用，再配合多种的插件和新颖的界面，更是让人欲罢不能。 在使用时，我们通过喜欢打开一个文件的时候，右击再选择打开程序，比如会用记事本、Notedpad++之类的，这时如果把Sublime Text也加入到其中毕竟会方便不少，在找了一番后，实验成功，效果如下： 实现
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2