YOLOv5-7.0改进(一)MobileNetv3替换主干网络

2024-05-10 05:52

本文主要是介绍YOLOv5-7.0改进(一)MobileNetv3替换主干网络,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

本篇博客主要讲解YOLOv5主干网络的替换,使用MobileNetv3实现模型轻量化,平衡速度和精度。以下为改进的具体流程~

目录

一、改进MobileNetV3_Small

第一步:修改common.py,新增MobileNetV3

第二步:在yolo.py的parse_model函数中添加类名

第三步:制作模型配置文件

第四步:验证新加入的主干网络

二、改进MobileNetV3_Large

第一步:制作模型配置文件

第二步:验证新加入的主干网络

三、改进训练

第一步:修改train.py中的cfg参数

第二步:运行python train.py


一、改进MobileNetV3_Small

第一步:修改common.py,新增MobileNetV3

将以下代码复制到common.py末尾

# Mobilenetv3Smallclass h_sigmoid(nn.Module):def __init__(self, inplace=True):super(h_sigmoid, self).__init__()self.relu = nn.ReLU6(inplace=inplace)def forward(self, x):return self.relu(x + 3) / 6class h_swish(nn.Module):def __init__(self, inplace=True):super(h_swish, self).__init__()self.sigmoid = h_sigmoid(inplace=inplace)def forward(self, x):return x * self.sigmoid(x)class SELayer(nn.Module):def __init__(self, channel, reduction=4):super(SELayer, self).__init__()# Squeeze操作self.avg_pool = nn.AdaptiveAvgPool2d(1)# Excitation操作(FC+ReLU+FC+Sigmoid)self.fc = nn.Sequential(nn.Linear(channel, channel // reduction),nn.ReLU(inplace=True),nn.Linear(channel // reduction, channel),h_sigmoid())def forward(self, x):b, c, _, _ = x.size()y = self.avg_pool(x)y = y.view(b, c)y = self.fc(y).view(b, c, 1, 1)  # 学习到的每一channel的权重return x * yclass conv_bn_hswish(nn.Module):"""This equals todef conv_3x3_bn(inp, oup, stride):return nn.Sequential(nn.Conv2d(inp, oup, 3, stride, 1, bias=False),nn.BatchNorm2d(oup),h_swish())"""def __init__(self, c1, c2, stride):super(conv_bn_hswish, self).__init__()self.conv = nn.Conv2d(c1, c2, 3, stride, 1, bias=False)self.bn = nn.BatchNorm2d(c2)self.act = h_swish()def forward(self, x):return self.act(self.bn(self.conv(x)))def fuseforward(self, x):return self.act(self.conv(x))class MobileNetV3(nn.Module):def __init__(self, inp, oup, hidden_dim, kernel_size, stride, use_se, use_hs):super(MobileNetV3, self).__init__()assert stride in [1, 2]self.identity = stride == 1 and inp == oup# 输入通道数=扩张通道数 则不进行通道扩张if inp == hidden_dim:self.conv = nn.Sequential(# dwnn.Conv2d(hidden_dim, hidden_dim, kernel_size, stride, (kernel_size - 1) // 2, groups=hidden_dim,bias=False),nn.BatchNorm2d(hidden_dim),h_swish() if use_hs else nn.ReLU(inplace=True),# Squeeze-and-ExciteSELayer(hidden_dim) if use_se else nn.Sequential(),# pw-linearnn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False),nn.BatchNorm2d(oup),)else:# 否则 先进行通道扩张self.conv = nn.Sequential(# pwnn.Conv2d(inp, hidden_dim, 1, 1, 0, bias=False),nn.BatchNorm2d(hidden_dim),h_swish() if use_hs else nn.ReLU(inplace=True),# dwnn.Conv2d(hidden_dim, hidden_dim, kernel_size, stride, (kernel_size - 1) // 2, groups=hidden_dim,bias=False),nn.BatchNorm2d(hidden_dim),# Squeeze-and-ExciteSELayer(hidden_dim) if use_se else nn.Sequential(),h_swish() if use_hs else nn.ReLU(inplace=True),# pw-linearnn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False),nn.BatchNorm2d(oup),)def forward(self, x):y = self.conv(x)if self.identity:return x + yelse:return y

第二步:在yolo.py的parse_model函数中添加类名

添加内容:

h_sigmoid, h_swish, SELayer, conv_bn_hswish, MobileNetV3

添加效果:

第三步:制作模型配置文件

1、复制models/yolov5s.yaml文件,并重命名

2、根据MobileNetv3的网络结构修改配置文件

根据网络结构我们可以看出MobileNetV3模块包含六个参数[out_ch, hidden_ch, kernel_size, stride, use_se, use_hs]:
• out_ch: 输出通道
• hidden_ch: 表示在Inverted residuals中的扩张通道数
• kernel_size: 卷积核大小
• stride: 步长
• use_se: 表示是否使用 SELayer,使用了是1,不使用是0
• use_hs: 表示使用 h_swish 还是 ReLU,使用h_swish是1,使用 ReLU是0

修改的时候,需要注意/8,/16,/32等位置特征图的变换

3、修改head部分concat的层数

修改完成代码如下:

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license# Parameters
nc: 12  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:- [10,13, 16,30, 33,23]  # P3/8- [30,61, 62,45, 59,119]  # P4/16- [116,90, 156,198, 373,326]  # P5/32# Mobilenetv3-small backbone
# MobileNetV3_InvertedResidual [out_ch, hid_ch, k_s, stride, SE, HardSwish]
backbone:# [from, number, module, args][[-1, 1, conv_bn_hswish, [16, 2]],             # 0-p1/2   320*320[-1, 1, MobileNetV3, [16,  16, 3, 2, 1, 0]],  # 1-p2/4   160*160[-1, 1, MobileNetV3, [24,  72, 3, 2, 0, 0]],  # 2-p3/8   80*80[-1, 1, MobileNetV3, [24,  88, 3, 1, 0, 0]],  # 3        80*80[-1, 1, MobileNetV3, [40,  96, 5, 2, 1, 1]],  # 4-p4/16  40*40[-1, 1, MobileNetV3, [40, 240, 5, 1, 1, 1]],  # 5        40*40[-1, 1, MobileNetV3, [40, 240, 5, 1, 1, 1]],  # 6        40*40[-1, 1, MobileNetV3, [48, 120, 5, 1, 1, 1]],  # 7        40*40[-1, 1, MobileNetV3, [48, 144, 5, 1, 1, 1]],  # 8        40*40[-1, 1, MobileNetV3, [96, 288, 5, 2, 1, 1]],  # 9-p5/32  20*20[-1, 1, MobileNetV3, [96, 576, 5, 1, 1, 1]],  # 10       20*20[-1, 1, MobileNetV3, [96, 576, 5, 1, 1, 1]],  # 11       20*20]# YOLOv5 v6.0 head
head:[[-1, 1, Conv, [512, 1, 1]],[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 8], 1, Concat, [1]],  # cat backbone P4[-1, 3, C3, [512, False]],  # 13[-1, 1, Conv, [256, 1, 1]],[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 3, 1, Concat, [1]],  # cat backbone P3[-1, 3, C3, [256, False]],  # 17 (P3/8-small)[-1, 1, Conv, [256, 3, 2]],[[-1, 16], 1, Concat, [1]],  # cat head P4[-1, 3, C3, [512, False]],  # 20 (P4/16-medium)[-1, 1, Conv, [512, 3, 2]],[[-1, 12], 1, Concat, [1]],  # cat head P5[-1, 3, C3, [1024, False]],  # 23 (P5/32-large)[[19, 22, 25], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)]

第四步:验证新加入的主干网络

1、修改yolo.py中以下两个地方

(1)DetectionModel函数下的cfg

(2)parser = argparse.ArgumentParser()下的sfg

2、运行yolo.py

(1)yolov5s_MobileNetV3_Small.yaml

(2)yolov5s.yaml

实验结果对比:可以看到替换主干网络为MobileNetV3_Small之后层数变多,可以学习到更多的特征,参数量从723万减少到338万,GFLOPs由16.6变为6.1

二、改进MobileNetV3_Large

MobileNetV3_Small和MobileNetV3_Large区别在于yaml文件中head中concat连接不同,深度因子和宽度因子不同。前两步参考以上内容

第一步:制作模型配置文件

1、复制models/yolov5s.yaml文件,并重命名

2、根据MobileNetv3的网络结构修改配置文件

3、修改head部分concat的层数

修改完成代码如下:

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license# Parameters
nc: 12  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:- [10,13, 16,30, 33,23]  # P3/8- [30,61, 62,45, 59,119]  # P4/16- [116,90, 156,198, 373,326]  # P5/32# MobileNetV3_Large
backbone:[[-1, 1, conv_bn_hswish, [16, 2]],                  # 0-p1/2[-1, 1, MobileNetV3, [ 16,  16, 3, 1, 0, 0]],  # 1-p1/2[-1, 1, MobileNetV3, [ 24,  64, 3, 2, 0, 0]],  # 2-p2/4[-1, 1, MobileNetV3, [ 24,  72, 3, 1, 0, 0]],  # 3-p2/4[-1, 1, MobileNetV3, [ 40,  72, 5, 2, 1, 0]],  # 4-p3/8[-1, 1, MobileNetV3, [ 40, 120, 5, 1, 1, 0]],  # 5-p3/8[-1, 1, MobileNetV3, [ 40, 120, 5, 1, 1, 0]],  # 6-p3/8[-1, 1, MobileNetV3, [ 80, 240, 3, 2, 0, 1]],  # 7-p4/16[-1, 1, MobileNetV3, [ 80, 200, 3, 1, 0, 1]],  # 8-p4/16[-1, 1, MobileNetV3, [ 80, 184, 3, 1, 0, 1]],  # 9-p4/16[-1, 1, MobileNetV3, [ 80, 184, 3, 1, 0, 1]],  # 10-p4/16[-1, 1, MobileNetV3, [112, 480, 3, 1, 1, 1]],  # 11-p4/16[-1, 1, MobileNetV3, [112, 672, 3, 1, 1, 1]],  # 12-p4/16[-1, 1, MobileNetV3, [160, 672, 5, 1, 1, 1]],  # 13-p4/16[-1, 1, MobileNetV3, [160, 960, 5, 2, 1, 1]],  # 14-p5/32   [-1, 1, MobileNetV3, [160, 960, 5, 1, 1, 1]],  # 15-p5/32]# YOLOv5 v6.0 head
head:[[-1, 1, Conv, [512, 1, 1]],[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 13], 1, Concat, [1]],  # cat backbone P4[-1, 3, C3, [512, False]],  # 13[-1, 1, Conv, [256, 1, 1]],[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 6], 1, Concat, [1]],  # cat backbone P3[-1, 3, C3, [256, False]],  # 17 (P3/8-small)[-1, 1, Conv, [256, 3, 2]],[[-1, 20], 1, Concat, [1]],  # cat head P4[-1, 3, C3, [512, False]],  # 20 (P4/16-medium)[-1, 1, Conv, [512, 3, 2]],[[-1, 16], 1, Concat, [1]],  # cat head P5[-1, 3, C3, [1024, False]],  # 23 (P5/32-large)[[23, 26, 29], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)]

第二步:验证新加入的主干网络

1、运行yolo.py

(1)yolov5s_MobileNetV3_Large.yaml

可以看到MobileNetV3-large模型比MobileNetV3-small多了更多的MobileNet_Block结构,残差倒置结构中通道数维度也增大了许多,速度比YOLOv5s慢将近一半,但是参数变少,效果介乎MobileNetV3-small和YOLOv5s之间。

三、改进训练

第一步:修改train.py中的cfg参数

将模型配置文件修改为yolov5s_MobileNetV3_Small.yaml

第二步:运行python train.py

开始训练:

训练结束后结果保存到run/train文件夹下~

好了,到这里关于YOLOv5和MobileNetV3结合的改进就完成了!

这篇关于YOLOv5-7.0改进(一)MobileNetv3替换主干网络的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/975618

相关文章

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor

ASIO网络调试助手之一:简介

多年前,写过几篇《Boost.Asio C++网络编程》的学习文章,一直没机会实践。最近项目中用到了Asio,于是抽空写了个网络调试助手。 开发环境: Win10 Qt5.12.6 + Asio(standalone) + spdlog 支持协议: UDP + TCP Client + TCP Server 独立的Asio(http://www.think-async.com)只包含了头文件,不依

poj 3181 网络流,建图。

题意: 农夫约翰为他的牛准备了F种食物和D种饮料。 每头牛都有各自喜欢的食物和饮料,而每种食物和饮料都只能分配给一头牛。 问最多能有多少头牛可以同时得到喜欢的食物和饮料。 解析: 由于要同时得到喜欢的食物和饮料,所以网络流建图的时候要把牛拆点了。 如下建图: s -> 食物 -> 牛1 -> 牛2 -> 饮料 -> t 所以分配一下点: s  =  0, 牛1= 1~

poj 3068 有流量限制的最小费用网络流

题意: m条有向边连接了n个仓库,每条边都有一定费用。 将两种危险品从0运到n-1,除了起点和终点外,危险品不能放在一起,也不能走相同的路径。 求最小的费用是多少。 解析: 抽象出一个源点s一个汇点t,源点与0相连,费用为0,容量为2。 汇点与n - 1相连,费用为0,容量为2。 每条边之间也相连,费用为每条边的费用,容量为1。 建图完毕之后,求一条流量为2的最小费用流就行了

poj 2112 网络流+二分

题意: k台挤奶机,c头牛,每台挤奶机可以挤m头牛。 现在给出每只牛到挤奶机的距离矩阵,求最小化牛的最大路程。 解析: 最大值最小化,最小值最大化,用二分来做。 先求出两点之间的最短距离。 然后二分匹配牛到挤奶机的最大路程,匹配中的判断是在这个最大路程下,是否牛的数量达到c只。 如何求牛的数量呢,用网络流来做。 从源点到牛引一条容量为1的边,然后挤奶机到汇点引一条容量为m的边

基于 YOLOv5 的积水检测系统:打造高效智能的智慧城市应用

在城市发展中,积水问题日益严重,特别是在大雨过后,积水往往会影响交通甚至威胁人们的安全。通过现代计算机视觉技术,我们能够智能化地检测和识别积水区域,减少潜在危险。本文将介绍如何使用 YOLOv5 和 PyQt5 搭建一个积水检测系统,结合深度学习和直观的图形界面,为用户提供高效的解决方案。 源码地址: PyQt5+YoloV5 实现积水检测系统 预览: 项目背景

配置InfiniBand (IB) 和 RDMA over Converged Ethernet (RoCE) 网络

配置InfiniBand (IB) 和 RDMA over Converged Ethernet (RoCE) 网络 服务器端配置 在服务器端,你需要确保安装了必要的驱动程序和软件包,并且正确配置了网络接口。 安装 OFED 首先,安装 Open Fabrics Enterprise Distribution (OFED),它包含了 InfiniBand 所需的驱动程序和库。 sudo

【机器学习】高斯网络的基本概念和应用领域

引言 高斯网络(Gaussian Network)通常指的是一个概率图模型,其中所有的随机变量(或节点)都遵循高斯分布 文章目录 引言一、高斯网络(Gaussian Network)1.1 高斯过程(Gaussian Process)1.2 高斯混合模型(Gaussian Mixture Model)1.3 应用1.4 总结 二、高斯网络的应用2.1 机器学习2.2 统计学2.3

网络学习-eNSP配置NAT

NAT实现内网和外网互通 #给路由器接口设置IP地址模拟实验环境<Huawei>system-viewEnter system view, return user view with Ctrl+Z.[Huawei]undo info-center enableInfo: Information center is disabled.[Huawei]interface gigabit

一种改进的red5集群方案的应用、基于Red5服务器集群负载均衡调度算法研究

转自: 一种改进的red5集群方案的应用: http://wenku.baidu.com/link?url=jYQ1wNwHVBqJ-5XCYq0PRligp6Y5q6BYXyISUsF56My8DP8dc9CZ4pZvpPz1abxJn8fojMrL0IyfmMHStpvkotqC1RWlRMGnzVL1X4IPOa_  基于Red5服务器集群负载均衡调度算法研究 http://ww