基于YOLOv8的水稻虫害识别系统，加入BiLevelRoutingAttention注意力进行创新优化

2024-05-04 20:36
文章标签 进行 优化 yolov8 加入 创新 注意力 识别系统 虫害 水稻 bilevelroutingattention

本文主要是介绍基于YOLOv8的水稻虫害识别系统，加入BiLevelRoutingAttention注意力进行创新优化，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

  💡💡💡本文摘要：基于YOLOv8的水稻虫害识别，阐述了整个数据制作和训练可视化过程，并加入BiLevelRoutingAttention注意力进行优化，最终mAP从原始的 0.697提升至0.732

 博主简介

AI小怪兽，YOLO骨灰级玩家，1）YOLOv5、v7、v8、v9优化创新，轻松涨点和模型轻量化；2）目标检测、语义分割、OCR、分类等技术孵化，赋能智能制造，工业项目落地经验丰富；

原创自研系列， 2024年计算机视觉顶会创新点

《YOLOv8原创自研》

《YOLOv5原创自研》

《YOLOv7原创自研》

《YOLOv9魔术师》

23年最火系列，内涵80+优化改进篇，涨点小能手，助力科研，好评率极高

《YOLOv8魔术师》

 《YOLOv7魔术师》

《YOLOv5/YOLOv7魔术师》

《RT-DETR魔术师》

应用系列篇：

《YOLO小目标检测》

《深度学习工业缺陷检测》

《YOLOv8-Pose关键点检测》

1.YOLOv8介绍

         Ultralytics YOLOv8是Ultralytics公司开发的YOLO目标检测和图像分割模型的最新版本。YOLOv8是一种尖端的、最先进的（SOTA）模型，它建立在先前YOLO成功基础上，并引入了新功能和改进，以进一步提升性能和灵活性。它可以在大型数据集上进行训练，并且能够在各种硬件平台上运行，从CPU到GPU。

具体改进如下：

  1. Backbone：使用的依旧是CSP的思想，不过YOLOv5中的C3模块被替换成了C2f模块，实现了进一步的轻量化，同时YOLOv8依旧使用了YOLOv5等架构中使用的SPPF模块；

  2. PAN-FPN：毫无疑问YOLOv8依旧使用了PAN的思想，不过通过对比YOLOv5与YOLOv8的结构图可以看到，YOLOv8将YOLOv5中PAN-FPN上采样阶段中的卷积结构删除了，同时也将C3模块替换为了C2f模块；

  3. Decoupled-Head：是不是嗅到了不一样的味道？是的，YOLOv8走向了Decoupled-Head；

  4. Anchor-Free：YOLOv8抛弃了以往的Anchor-Base，使用了Anchor-Free的思想；

  5. 损失函数：YOLOv8使用VFL Loss作为分类损失，使用DFL Loss+CIOU Loss作为分类损失；

  6. 样本匹配：YOLOv8抛弃了以往的IOU匹配或者单边比例的分配方式，而是使用了Task-Aligned Assigner匹配方式

​

框架图提供见链接：Brief summary of YOLOv8 model structure · Issue #189 · ultralytics/ultralytics · GitHub

2.水稻虫害识别数据集介绍

含稻秆蝇、二化螟、褐飞虱、蓟马、蛴螬、蝼蛄等常见害虫，共14个水稻害虫类别，1200多张图像，yolo标注完整，全部原始数据


nc: 14
names: ['rice leaf roller', 'rice leaf caterpillar', 'paddy stem maggot','asiatic rice borer', 'yellow rice borer', 'rice gall midge', 
'Rice Stemfly', 'brown plant hopper', 'white backed plant hopper', 
'small brown plant hopper', 'rice water weevil', 'rice leafhopper', 
'grain spreader thrips', 'rice shell pest']

 

3.如何训练YOLOv8

3.1 配置data.yaml

ps:建议填写绝对路径

train: F:\ultralytics-RiceInsect\RiceInsectData\train
val: F:\ultralytics-RiceInsect\RiceInsectData\valnc: 14
names: ['rice leaf roller', 'rice leaf caterpillar', 'paddy stem maggot', 'asiatic rice borer', 'yellow rice borer', 'rice gall midge', 'Rice Stemfly', 'brown plant hopper', 'white backed plant hopper', 'small brown plant hopper', 'rice water weevil', 'rice leafhopper', 'grain spreader thrips', 'rice shell pest']

3.2 如何训练

import warnings
warnings.filterwarnings('ignore')
from ultralytics import YOLOif __name__ == '__main__':model = YOLO('ultralytics/cfg/models/v8/yolov8.yaml')#model.load('yolov8n.pt') # loading pretrain weightsmodel.train(data='RiceInsectData/data.yaml',cache=True,imgsz=640,epochs=200,batch=32,workers=0,device='0',optimizer='SGD', # using SGD# resume='', # last.pt path# amp=False # close amp# fraction=0.2,project='runs/train',name='exp',)

3.3 训练可视化结果

YOLOv8 summary (fused): 168 layers, 3008378 parameters, 0 gradients, 8.1 GFLOPsClass     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 3/3 [00:01<00:00,  1.86it/s]all        188        199        0.7      0.631      0.697      0.426rice leaf roller        188         28      0.834      0.821      0.866      0.585rice leaf caterpillar        188         26      0.563      0.538      0.632      0.398paddy stem maggot        188          4      0.659      0.488      0.582      0.358asiatic rice borer        188         26      0.602      0.654      0.727      0.495yellow rice borer        188         11      0.806      0.755      0.813      0.537rice gall midge        188         14      0.793      0.857      0.863      0.417Rice Stemfly        188          4      0.457       0.75      0.745      0.461brown plant hopper        188         15      0.829      0.733      0.844      0.529
white backed plant hopper        188          7       0.42      0.286      0.288      0.144
small brown plant hopper        188          9      0.614      0.333      0.573      0.372rice water weevil        188         22      0.858      0.909      0.901       0.58rice leafhopper        188         24      0.695       0.75      0.697      0.371grain spreader thrips        188          3      0.677      0.667      0.687      0.479rice shell pest        188          6          1      0.291      0.543      0.241
Speed: 0.2ms preprocess, 1.6ms inference, 0.0ms loss, 0.6ms postprocess per image

F1_curve.png：F1分数与置信度（x轴）之间的关系。F1分数是分类的一个衡量标准，是精确率和召回率的调和平均函数，介于0，1之间。越大越好。

TP：真实为真，预测为真；

FN：真实为真，预测为假；

FP：真实为假，预测为真；

TN：真实为假，预测为假；

精确率（precision）=TP/(TP+FP)

召回率(Recall)=TP/(TP+FN)

F1=2*（精确率*召回率）/（精确率+召回率）

​

 PR_curve.png ：PR曲线中的P代表的是precision（精准率），R代表的是recall（召回率），其代表的是精准率与召回率的关系。

​

预测结果： 

​

4.如何优化

4.1加入BiLevelRoutingAttention介绍

论文：https://arxiv.org/pdf/2303.08810.pdf
 

背景：注意力机制是Vision Transformer的核心构建模块之一，可以捕捉长程依赖关系。然而，由于需要计算所有空间位置之间的成对令牌交互，这种强大的功能会带来巨大的计算负担和内存开销。为了减轻这个问题，一系列工作尝试通过引入手工制作和内容无关的稀疏性到关注力中来解决这个问题，如限制关注操作在局部窗口、轴向条纹或扩张窗口内。

本文方法：本文提出一种动态稀疏注意力的双层路由方法。对于一个查询，首先在粗略的区域级别上过滤掉不相关的键值对，然后在剩余候选区域（即路由区域）的并集中应用细粒度的令牌对令牌关注力。所提出的双层路由注意力具有简单而有效的实现方式，利用稀疏性来节省计算和内存，只涉及GPU友好的密集矩阵乘法。在此基础上构建了一种新的通用Vision Transformer，称为BiFormer。

其中图(a)是原始的注意力实现，其直接在全局范围内操作，导致高计算复杂性和大量内存占用；而对于图(b)-(d)，这些方法通过引入具有不同手工模式的稀疏注意力来减轻复杂性，例如局部窗口、轴向条纹和扩张窗口等；而图(e)则是基于可变形注意力通过不规则网格来实现图像自适应稀疏性；作者认为以上这些方法大都是通过将 手工制作 和 与内容无关 的稀疏性引入到注意力机制来试图缓解这个问题。因此，本文通过双层路由(bi-level routing)提出了一种新颖的动态稀疏注意力(dynamic sparse attention )，以实现更灵活的计算分配和内容感知，使其具备动态的查询感知稀疏性，如图(f)所示。

基于BRA模块，本文构建了一种新颖的通用视觉转换器BiFormer。如上图所示，其遵循大多数的vision transformer架构设计，也是采用四级金字塔结构，即下采样32倍。

具体来说，BiFormer在第一阶段使用重叠块嵌入，在第二到第四阶段使用块合并模块来降低输入空间分辨率，同时增加通道数，然后是采用连续的BiFormer块做特征变换。需要注意的是，在每个块的开始均是使用 的深度卷积来隐式编码相对位置信息。随后依次应用BRA模块和扩展率为 的 2 层 多层感知机(Multi-Layer Perceptron, MLP)模块，分别用于交叉位置关系建模和每个位置嵌

4.2 改进后的网络结构

4.3 性能

mAP从原始的 0.697提升至0.732

YOLOv8-C2f_BiLevelRoutingAttention summary (fused): 196 layers, 2653434 parameters, 0 gradients, 11.9 GFLOPsClass     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 3/3 [00:01<00:00,  1.75it/s]all        188        199      0.733      0.645      0.732      0.409rice leaf roller        188         28      0.827      0.851      0.872      0.574rice leaf caterpillar        188         26      0.629      0.577      0.675      0.382paddy stem maggot        188          4      0.571        0.5      0.575      0.358asiatic rice borer        188         26      0.685      0.577      0.753      0.453yellow rice borer        188         11      0.521      0.695      0.632      0.383rice gall midge        188         14      0.754      0.714      0.913       0.41Rice Stemfly        188          4      0.633       0.75      0.807      0.453brown plant hopper        188         15      0.776      0.693      0.782      0.419
white backed plant hopper        188          7      0.579      0.591      0.523      0.248
small brown plant hopper        188          9      0.755      0.345      0.663       0.29rice water weevil        188         22      0.913      0.864      0.936      0.608rice leafhopper        188         24      0.722      0.708      0.748      0.372grain spreader thrips        188          3      0.967      0.667      0.806      0.519rice shell pest        188          6      0.935        0.5      0.561      0.263
Speed: 0.2ms preprocess, 1.9ms inference, 0.0ms loss, 0.7ms postprocess per image

 

 

关注下方名片点击关注，即可源码获取途径。  

这篇关于基于YOLOv8的水稻虫害识别系统，加入BiLevelRoutingAttention注意力进行创新优化的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/960040。

相关文章

uniapp接入微信小程序原生代码配置方案（优化版）

uniapp接入微信小程序原生代码配置方案（优化版）

uniapp项目需要把微信小程序原生语法的功能代码嵌套过来，无需把原生代码转换为uniapp，可以配置拷贝的方式集成过来 1、拷贝代码包到src目录 2、vue.config.js中配置原生代码包直接拷贝到编译目录中 3、pages.json中配置分包目录，原生入口组件的路径 4、manifest.json中配置分包，使用原生组件 5、需要把原生代码包里的页面修改成组件的方
阅读更多...
大语言模型（LLMs）能够进行推理和规划吗？

大语言模型（LLMs）能够进行推理和规划吗？

大语言模型（LLMs），基本上是经过强化训练的 n-gram 模型，它们在网络规模的语言语料库（实际上，可以说是我们文明的知识库）上进行了训练，展现出了一种超乎预期的语言行为，引发了我们的广泛关注。从训练和操作的角度来看，LLMs 可以被认为是一种巨大的、非真实的记忆库，相当于为我们所有人提供了一个外部的系统 1（见图 1）。然而，它们表面上的多功能性让许多研究者好奇，这些模型是否也能在通常需要系
阅读更多...
创新、引领、发展——SAMPE中国2024年会在京盛大开幕

创新、引领、发展——SAMPE中国2024年会在京盛大开幕

绿树阴浓夏日长，在这个色彩缤纷的季节，SAMPE中国2024年会暨第十九届国际先进复合材料制品原材料、工装及工程应用展览会在中国国际展览中心（北京朝阳馆）隆重开幕。新老朋友共聚一堂，把酒话桑麻。 为期4天的国际学术会议以“先进复合材料，引领产业创新与可持续化发展”为主题，设立了34个主题分会场，其中包括了可持续化会场、国际大学生会场、中法复合材料制造技术峰会三个国际会场和女科技工作者委员会沙龙，
阅读更多...
YOLOv8改进 | SPPF | 具有多尺度带孔卷积层的ASPP【CVPR2018】

YOLOv8改进 | SPPF | 具有多尺度带孔卷积层的ASPP【CVPR2018】

💡💡💡本专栏所有程序均经过测试，可成功执行💡💡💡 专栏目录 ：《YOLOv8改进有效涨点》专栏介绍 & 专栏目录 | 目前已有40+篇内容，内含各种Head检测头、损失函数Loss、Backbone、Neck、NMS等创新点改进——点击即可跳转 Atrous Spatial Pyramid Pooling (ASPP) 是一种在深度学习框架中用于语义分割的网络结构，它旨
阅读更多...
Python应用开发——30天学习Streamlit Python包进行APP的构建（9）

Python应用开发——30天学习Streamlit Python包进行APP的构建（9）

st.area_chart 显示区域图。 这是围绕 st.altair_chart 的语法糖。主要区别在于该命令使用数据自身的列和指数来计算图表的 Altair 规格。因此，在许多 "只需绘制此图 "的情况下，该命令更易于使用，但可定制性较差。 如果 st.area_chart 无法正确猜测数据规格，请尝试使用 st.altair_chart 指定所需的图表。 Function signa
阅读更多...
气象站的种类和应用范围可以根据不同的分类标准进行详细的划分和描述

气象站的种类和应用范围可以根据不同的分类标准进行详细的划分和描述

气象站的种类和应用范围可以根据不同的分类标准进行详细的划分和描述。以下是从不同角度对气象站的种类和应用范围的介绍： 一、气象站的种类 根据用途和安装环境分类： 农业气象站：专为农业生产服务，监测土壤温度、湿度等参数，为农业生产提供科学依据。交通气象站：用于公路、铁路、机场等交通场所的气象监测，提供实时气象数据以支持交通运营和调度。林业气象站：监测林区风速、湿度、温度等气象要素，为林区保护和
阅读更多...
企业如何进行员工的网络安全意识培训？

企业如何进行员工的网络安全意识培训？

企业网络安全意识培训的重要性         企业网络安全意识培训是提升员工网络安全素质的关键环节。随着网络技术的快速发展，企业面临的网络安全威胁日益增多，员工的网络安全意识和技能水平直接关系到企业的信息安全和业务连续性。因此，企业需要通过系统的网络安全意识培训，提高员工对网络安全的认识和防范能力，从而降低企业在面对潜在安全风险时的损失和影响。 企业网络安全意识培训的方法         企
阅读更多...
服务器雪崩的应对策略之----SQL优化

服务器雪崩的应对策略之----SQL优化

SQL语句的优化是数据库性能优化的重要方面，特别是在处理大规模数据或高频访问时。作为一个C++程序员，理解SQL优化不仅有助于编写高效的数据库操作代码，还能增强对系统性能瓶颈的整体把握。以下是详细的SQL语句优化技巧和策略： SQL优化 1. 选择合适的数据类型2. 使用索引3. 优化查询4. 范式化和反范式化5. 查询重写6. 使用缓存7. 优化数据库设计8. 分析和监控9. 调整配置1、
阅读更多...
Java中如何优化数据库查询性能？

Java中如何优化数据库查询性能？

Java中如何优化数据库查询性能？ 大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天我们将深入探讨在Java中如何优化数据库查询性能，这是提升应用程序响应速度和用户体验的关键技术。 优化数据库查询性能的重要性 在现代应用开发中，数据库查询是最常见的操作之一。随着数据量的增加和业务复杂度的提升，数据库查询的性能优化显得尤为重
阅读更多...
使用JWT进行安全通信

使用JWT进行安全通信

在现代Web应用中，安全通信是至关重要的。JSON Web Token（JWT）是一种流行的安全通信方式，它允许用户和服务器之间安全地传输信息。JWT是一种紧凑的、URL安全的表示方法，用于在两方之间传输信息。本文将详细介绍JWT的工作原理，并提供代码示例帮助新人理解和实现JWT。 什么是JWT？ JWT是一种开放标准（RFC 7519），它定义了一种紧凑且自包含的方式，用于在各方之间以JSO
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2