【保姆级教程|YOLOv8改进】【3】使用FasterBlock替换C2f中的Bottleneck

2024-01-19 16:12
文章标签 使用 教程 yolov8 保姆 改进 替换 c2f bottleneck fasterblock

本文主要是介绍【保姆级教程|YOLOv8改进】【3】使用FasterBlock替换C2f中的Bottleneck，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

《博主简介》

小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~
👍感谢小伙伴们点赞、关注！

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称项目名称
1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】8.【基于YOLOv8深度学习的行人跌倒检测系统】
9.【基于YOLOv8深度学习的PCB板缺陷检测系统】10.【基于YOLOv8深度学习的生活垃圾分类目标检测系统】
11.【基于YOLOv8深度学习的安全帽目标检测系统】12.【基于YOLOv8深度学习的120种犬类检测与识别系统】
13.【基于YOLOv8深度学习的路面坑洞检测系统】14.【基于YOLOv8深度学习的火焰烟雾检测系统】
15.【基于YOLOv8深度学习的钢材表面缺陷检测系统】16.【基于YOLOv8深度学习的舰船目标分类检测系统】
17.【基于YOLOv8深度学习的西红柿成熟度检测系统】18.【基于YOLOv8深度学习的血细胞检测与计数系统】
19.【基于YOLOv8深度学习的吸烟/抽烟行为检测系统】20.【基于YOLOv8深度学习的水稻害虫检测与识别系统】
21.【基于YOLOv8深度学习的高精度车辆行人检测与计数系统】22.【基于YOLOv8深度学习的路面标志线检测与识别系统】
22.【基于YOLOv8深度学习的智能小麦害虫检测识别系统】23.【基于YOLOv8深度学习的智能玉米害虫检测识别系统】
24.【基于YOLOv8深度学习的200种鸟类智能检测与识别系统】25.【基于YOLOv8深度学习的45种交通标志智能检测与识别系统】
26.【基于YOLOv8深度学习的人脸面部表情识别系统】27.【基于YOLOv8深度学习的苹果叶片病害智能诊断系统】
28.【基于YOLOv8深度学习的智能肺炎诊断系统】29.【基于YOLOv8深度学习的葡萄簇目标检测系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】

《------正文------》

前言

在这里插入图片描述
FasterNet是为了提升网络的推理速度而设计的一种新型的神经网络结构，它比其他网络在各种视觉任务上实现了更高的运行速度，同时对准确性没有降低。本文详细介绍了如何使用FasterNet中的FasterBlock替换YOLOv8的C2f中Bottleneck模块，并且使用修改后的yolov8进行目标检测训练与推理。本文提供了所有源码免费供小伙伴们学习参考，需要的可以通过文末方式自行下载。

本文改进使用的ultralytics版本为：ultralytics == 8.0.227

目录

  • 前言
  • 1.FasterNet简介
    • 1.1 FasterNet网络结构
    • 1.2 性能对比
  • 2.使用FasterBlock替换C2f中的Bottleneck
    • 替换位置与替换后网络结构示意
    • 定义`C2f_Faster`类
    • 在不同文件导入新建的C2f类
    • 在`parse_model`解析函数中添加`C2f_Faster`类
    • 创建新的配置文件`c2f_Faster_yolov8.yaml`
    • 新的`c2f_Faster_yolov8.yaml`配置文件与原yolov8.yaml文件的对比如下：
  • 加载配置文件并训练
  • 模型推理
  • 【源码免费获取】
  • 结束语

1.FasterNet简介

论文发表时间：2023.05.21

github地址：https://github.com/JierunChen/FasterNet.
paper地址：https://arxiv.org/abs/2303.03667

在这里插入图片描述

摘要：为了设计快速的神经网络，许多研究都专注于减少浮点运算量（FLOPs）。然而，我们观察到这种FLOPs的减少并不一定导致延迟的相似程度的减少。这主要是因为浮点操作每秒（FLOPS）效率低下。为了实现更快的网络，我们重新审视了流行的操作符，并证明了低FLOPS主要是由于操作符的频繁内存访问，特别是深度卷积。因此，我们提出了一种新颖的部分卷积（PConv），通过同时减少冗余的计算和内存访问来更高效地提取空间特征。在我们的PConv基础上，我们进一步提出了FasterNet，这是一系列新的神经网络，比其他网络在各种视觉任务上实现了更高的运行速度，同时对准确性没有妥协。例如，在ImageNet-1k上，我们小巧的FasterNet-T0在GPU、CPU和ARM处理器上分别比MobileViT-XXS快2.8倍、3.3倍和2.4倍，同时准确率更高2.9%。我们的大型FasterNet-L在GPU上实现了令人印象深刻的83.5%的Top-1准确率，与新兴的Swin-B不相上下，同时在GPU上推理吞吐量比Swin-B高出36%，在CPU上节省了37%的计算时间。

论文主要亮点如下：
• 我们指出在实现更快的神经网络时，实现更高的FLOPS比仅仅减少FLOPS更重要。
• 我们引入了一种简单而快速有效的操作符，称为PConv，它有很高的潜力可以取代现有的首选选择DWConv。
• 我们引入了FasterNet，在各种设备上都表现出非常快的运行速度，如GPU、CPU和ARM处理器。
• 我们对各种任务进行了广泛的实验证明了我们的PConv和FasterNet的高速和有效性。

1.1 FasterNet网络结构

在这里插入图片描述

1.2 性能对比

在这里插入图片描述
在这里插入图片描述

2.使用FasterBlock替换C2f中的Bottleneck

替换位置与替换后网络结构示意

C2f中替换的位置
在这里插入图片描述
替换后的YOLOv8网络结构如下：
在这里插入图片描述

定义C2f_Faster类

在ultralytics/nn/modules/block.py中添加如下代码块，并定义C2f_Faster类：

from timm.models.layers import DropPathclass Partial_conv3(nn.Module):def __init__(self, dim, n_div=4, forward='split_cat'):super().__init__()self.dim_conv3 = dim // n_divself.dim_untouched = dim - self.dim_conv3self.partial_conv3 = nn.Conv2d(self.dim_conv3, self.dim_conv3, 3, 1, 1, bias=False)if forward == 'slicing':self.forward = self.forward_slicingelif forward == 'split_cat':self.forward = self.forward_split_catelse:raise NotImplementedErrordef forward_slicing(self, x):# only for inferencex = x.clone()  # !!! Keep the original input intact for the residual connection laterx[:, :self.dim_conv3, :, :] = self.partial_conv3(x[:, :self.dim_conv3, :, :])return xdef forward_split_cat(self, x):# for training/inferencex1, x2 = torch.split(x, [self.dim_conv3, self.dim_untouched], dim=1)x1 = self.partial_conv3(x1)x = torch.cat((x1, x2), 1)return xclass Faster_Block(nn.Module):def __init__(self,inc,dim,n_div=4,mlp_ratio=2,drop_path=0.1,layer_scale_init_value=0.0,pconv_fw_type='split_cat'):super().__init__()self.dim = dimself.mlp_ratio = mlp_ratioself.drop_path = DropPath(drop_path) if drop_path > 0. else nn.Identity()self.n_div = n_divmlp_hidden_dim = int(dim * mlp_ratio)mlp_layer = [Conv(dim, mlp_hidden_dim, 1),nn.Conv2d(mlp_hidden_dim, dim, 1, bias=False)]self.mlp = nn.Sequential(*mlp_layer)self.spatial_mixing = Partial_conv3(dim,n_div,pconv_fw_type)self.adjust_channel = Noneif inc != dim:self.adjust_channel = Conv(inc, dim, 1)if layer_scale_init_value > 0:self.layer_scale = nn.Parameter(layer_scale_init_value * torch.ones((dim)), requires_grad=True)self.forward = self.forward_layer_scaleelse:self.forward = self.forwarddef forward(self, x):if self.adjust_channel is not None:x = self.adjust_channel(x)shortcut = xx = self.spatial_mixing(x)x = shortcut + self.drop_path(self.mlp(x))return xdef forward_layer_scale(self, x):shortcut = xx = self.spatial_mixing(x)x = shortcut + self.drop_path(self.layer_scale.unsqueeze(-1).unsqueeze(-1) * self.mlp(x))return xclass C2f_Faster(C2f):def __init__(self, c1, c2, n=1, shortcut=False, g=1, e=0.5):super().__init__(c1, c2, n, shortcut, g, e)self.m = nn.ModuleList(Faster_Block(self.c, self.c) for _ in range(n))

在不同文件导入新建的C2f类

在ultralytics/nn/modules/block.py顶部，all中添加刚才创建的类的名称：C2f_Faster,如下图所示：
在这里插入图片描述

同样需要在ultralytics/nn/modules/__init__.py文件，相应位置导入刚出创建的C2f_Faster类。如下图：
在这里插入图片描述

还需要在ultralytics/nn/tasks.py中导入创建的C2f_Faster类，如下图：
在这里插入图片描述

在parse_model解析函数中添加C2f_Faster类

在ultralytics/nn/tasks.py的parse_model解析网络结构的函数中，加入C2f_Faster类，如下图：
在这里插入图片描述

创建新的配置文件c2f_Faster_yolov8.yaml

在ultralytics/cfg/models/v8目录下新建c2f_Faster_yolov8.yaml配置文件，内容如下:

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 80  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'# [depth, width, max_channels]n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPss: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPsm: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPsl: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2- [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4- [-1, 3, C2f_Faster, [128, True]]- [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8- [-1, 6, C2f_Faster, [256, True]]- [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16- [-1, 6, C2f_Faster, [512, True]]- [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32- [-1, 3, C2f_Faster, [1024, True]]- [-1, 1, SPPF, [1024, 5]]  # 9# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 6], 1, Concat, [1]]  # cat backbone P4- [-1, 3, C2f_Faster, [512]]  # 12- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 4], 1, Concat, [1]]  # cat backbone P3- [-1, 3, C2f_Faster, [256]]  # 15 (P3/8-small)- [-1, 1, Conv, [256, 3, 2]]- [[-1, 12], 1, Concat, [1]]  # cat head P4- [-1, 3, C2f_Faster, [512]]  # 18 (P4/16-medium)- [-1, 1, Conv, [512, 3, 2]]- [[-1, 9], 1, Concat, [1]]  # cat head P5- [-1, 3, C2f_Faster, [1024]]  # 21 (P5/32-large)- [[15, 18, 21], 1, Detect, [nc]]  # Detect(P3, P4, P5)

新的c2f_Faster_yolov8.yaml配置文件与原yolov8.yaml文件的对比如下：

在这里插入图片描述

加载配置文件并训练

加载c2f_Faster_yolov8.yaml配置文件，并运行train.py训练代码:

#coding:utf-8from ultralytics import YOLOif __name__ == '__main__':model = YOLO('ultralytics/cfg/models/v8/c2f_Faster_yolov8.yaml')model.load('yolov8n.pt') # loading pretrain weightsmodel.train(data='datasets/TomatoData/data.yaml', epochs=250, batch=4)

注意观察，打印出的网络结构是否正常修改，如下图所示：
在这里插入图片描述

模型推理

模型训练完成后，我们使用训练好的模型对图片进行检测：

#coding:utf-8
from ultralytics import YOLO
import cv2# 所需加载的模型目录
# path = 'models/best2.pt'
path = 'runs/detect/train2/weights/best.pt'
# 需要检测的图片地址
img_path = "TestFiles/Riped tomato_31.jpeg"# 加载预训练模型
# conf	0.25	object confidence threshold for detection
# iou	0.7	intersection over union (IoU) threshold for NMS
model = YOLO(path, task='detect')# 检测图片
results = model(img_path)
res = results[0].plot()
# res = cv2.resize(res,dsize=None,fx=2,fy=2,interpolation=cv2.INTER_LINEAR)
cv2.imshow("YOLOv8 Detection", res)
cv2.waitKey(0)

在这里插入图片描述

【源码免费获取】

为了小伙伴们能够，更好的学习实践，本文已将所有代码、示例数据集、论文等相关内容打包上传，供小伙伴们学习。获取方式如下：

关注下方名片G-Z-H：【阿旭算法与机器学习】，发送【yolov8改进】即可免费获取

在这里插入图片描述

结束语

关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！

觉得不错的小伙伴，感谢点赞、关注加收藏哦！

这篇关于【保姆级教程|YOLOv8改进】【3】使用FasterBlock替换C2f中的Bottleneck的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/622958。

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
Centos7安装JDK1.8保姆版

Centos7安装JDK1.8保姆版

工欲善其事，必先利其器。这句话同样适用于学习Java编程。在开始Java的学习旅程之前，我们必须首先配置好适合的开发环境。 通过事先准备好这些工具和配置，我们可以避免在学习过程中遇到因环境问题导致的代码异常或错误。一个稳定、高效的开发环境能够让我们更加专注于代码的学习和编写，提升学习效率，减少不必要的困扰和挫折感。因此，在学习Java之初，投入一些时间和精力来配置好开发环境是非常值得的。这将为我
阅读更多...
pdfmake生成pdf的使用

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据，将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
git使用的说明总结

git使用的说明总结

Git使用说明 下载安装(下载地址) macOS: Git - Downloading macOS Windows: Git - Downloading Windows Linux/Unix: Git (git-scm.com) 创建新仓库 本地创建新仓库：创建新文件夹，进入文件夹目录，执行指令 git init ，用以创建新的git 克隆仓库 执行指令用以创建一个本地仓库的
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2