明厨亮灶厨师帽佩戴检测的难点与优化方式 Yolov5+bytetrack

2024-04-15 16:36

本文主要是介绍明厨亮灶厨师帽佩戴检测的难点与优化方式 Yolov5+bytetrack,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

随着国家一系列食品安全政策的出台,厨房的安全卫生问题逐渐被人们重视。其中,工作人员是否佩戴厨师帽是很关键的一环。人们希望能通过一种方式实现自动化的检测,但目前市场上大部分“明厨亮灶系统”或“未佩戴厨师帽检测系统”都无法满足用户的真实场景需求。在实际使用的时候会出现大量的误报、漏报等问题。那到底在未佩戴厨师帽行为识别算法上到底有什么难点?该如何解决呢?

算法难点

目前,未佩戴厨师帽检测算法的核心问题为召回率与准确率不足,其难点主要分为以下两个方面。

难点一:厨房场景复杂、空间受限、人体目标容易被遮挡

受到厨房空间、摄像头安装角度、人员密集等条件影响,人体目标被部分或严重遮挡以及厨师人员低头造成厨师帽特征信息丢失,只有少部分数据或者无数据可供神经网络学习。由于遮挡数据的多样性与复杂性,模型只能学习到厨师帽的局部特征,容易造成过拟合,从而引发漏报或误报问题。

如上图所示,由于遮挡问题造成无法看到人体目标,只有局部厨师帽特征信息在画面中,导致影响特征网络的特征提取,从而造成漏报。

难点二:摄像头安装位置角度导致厨师帽目标过小

当厨房工作人员距离摄像头较远时,无法看清厨师帽的细粒度特征,造成误识别。下图中可以看到,佩戴厨师帽的人员,距离摄像头距离过远,且画面光线昏暗,造成无法精准做到厨师帽识别效果。

优化方案

针对上面提到的难点,小编的优化方式是采用目标检测技术(Yolov5)+多目标追踪技术(bytetrack)

一、YOLOv5输入端

Mosaic数据增强

Yolov5的输入端采用了和Yolov4一样的Mosaic数据增强的方式。Mosaic是参考2019年底提出的CutMix数据增强的方式,但CutMix只使用了两张图片进行拼接,而Mosaic数据增强则采用了4张图片,随机缩放、随机裁剪、随机排布的方式进行拼接,使模型在更小的范围内识别目标。。

Mosaic数据增强的主要步骤为:

  1. 随机选取图片拼接基准点坐标(xc,yc),随机选取四张图片。
  2. 四张图片根据基准点,分别经过尺寸调整和比例缩放后,放置在指定尺寸的大图的左上,右上,左下,右下位置。
  3. 根据每张图片的尺寸变换方式,将映射关系对应到图片标签上。
  4. 依据指定的横纵坐标,对大图进行拼接。处理超过边界的检测框坐标。

采用Mosaic数据增强的优点:

  1. 丰富数据集: 随机使用4张图像,随机缩放后随机拼接,增加很多小目标,大大增加了数据多样性。
  2. 增强模型鲁棒性: 混合四张具有不同语义信息的图片,可以让模型检测超出常规语境的目标。
  3. 加强批归一化(Batch Normalization)的效果: 当模型设置 BN 操作后,训练时会尽可能增大批样本总量(BatchSize),因为 BN 原理为计算每一个特征层的均值和方差,如果批样本总量越大,那么 BN 计算的均值和方差就越接近于整个数据集的均值和方差,效果越好。
  4. 有利于提升小目标检测性能: Mosaic 数据增强图像由四张原始图像拼接而成,这样每张图像会有更大概率包含小目标,从而提升了模型的检测能力。

自适应锚框计算的具体过程:

  1. 获取厨师帽数据集中所有目标的宽和高。
  2. 将每张图片中按照等比例缩放的方式到 resize 指定大小,这里保证宽高中的最大值符合指定大小。
  3. 将 bboxes 从相对坐标改成绝对坐标,这里乘以的是缩放后的宽高。
  4. 筛选 bboxes,保留宽高都大于等于两个像素的 bboxes。
  5. 使用 k-means 聚类三方得到n个 anchors,与YOLOv3、YOLOv4 操作一样。
  6. 使用遗传算法随机对 anchors 的宽高进行变异。倘若变异后的效果好,就将变异后的结果赋值给 anchors;如果变异后效果变差就跳过,默认变异1000次。这里是使用 anchor_fitness 方法计算得到的适应度 fitness,然后再进行评估。

CSP结构:

以YOLOv5s网络为例,CSP1_ X结构应用于Backbone主干网络,而CSP2_X结构则应用于Neck中。下图清楚的表示出来了:

二、多目标追踪技术(bytetrack)

BYTE 数据关联方法具体的流程如下:

  1. 根据检测框得分,把检测框分为高分框和低分框,分开处理,第一次使用高分框和之前的跟踪轨迹进行匹配;
  2. 第二次使用低分框和第一次没有匹配上高分框的跟踪轨迹(例如在当前帧受到严重遮挡导致得分下降的物体)进行匹配;
  3. 对于没有匹配上跟踪轨迹,得分又足够高的检测框,我们对其新建一个跟踪轨迹。对于没有匹配上检测框的跟踪轨迹,我们会保留30帧,在其再次出现时再进行匹配;
  4. BYTE 的工作原理可以理解为,遮挡往往伴随着检测得分由高到低的缓慢降低:被遮挡物体在被遮挡之前是可视物体,检测分数较高,建立轨迹;当物体被遮挡时,通过检测框与轨迹的位置重合度就能把遮挡的物体从低分框中挖掘出来,保持轨迹的连贯性。

最后实现流程

首先通过目标检测厨房工作人员,实时检测人体目标以及厨师帽识别目标,并对人体目标采用跟踪技术,期间选取人体质量最优的人体目标进行行为判定。

这篇关于明厨亮灶厨师帽佩戴检测的难点与优化方式 Yolov5+bytetrack的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/906342

相关文章

Spring Boot读取配置文件的五种方式小结

《SpringBoot读取配置文件的五种方式小结》SpringBoot提供了灵活多样的方式来读取配置文件,这篇文章为大家介绍了5种常见的读取方式,文中的示例代码简洁易懂,大家可以根据自己的需要进... 目录1. 配置文件位置与加载顺序2. 读取配置文件的方式汇总方式一:使用 @Value 注解读取配置方式二

JAVA保证HashMap线程安全的几种方式

《JAVA保证HashMap线程安全的几种方式》HashMap是线程不安全的,这意味着如果多个线程并发地访问和修改同一个HashMap实例,可能会导致数据不一致和其他线程安全问题,本文主要介绍了JAV... 目录1. 使用 Collections.synchronizedMap2. 使用 Concurren

C# foreach 循环中获取索引的实现方式

《C#foreach循环中获取索引的实现方式》:本文主要介绍C#foreach循环中获取索引的实现方式,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、手动维护索引变量二、LINQ Select + 元组解构三、扩展方法封装索引四、使用 for 循环替代

将Java程序打包成EXE文件的实现方式

《将Java程序打包成EXE文件的实现方式》:本文主要介绍将Java程序打包成EXE文件的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录如何将Java程序编程打包成EXE文件1.准备Java程序2.生成JAR包3.选择并安装打包工具4.配置Launch4

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》:本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分

springboot上传zip包并解压至服务器nginx目录方式

《springboot上传zip包并解压至服务器nginx目录方式》:本文主要介绍springboot上传zip包并解压至服务器nginx目录方式,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录springboot上传zip包并解压至服务器nginx目录1.首先需要引入zip相关jar包2.然

Java数组初始化的五种方式

《Java数组初始化的五种方式》数组是Java中最基础且常用的数据结构之一,其初始化方式多样且各具特点,本文详细讲解Java数组初始化的五种方式,分析其适用场景、优劣势对比及注意事项,帮助避免常见陷阱... 目录1. 静态初始化:简洁但固定代码示例核心特点适用场景注意事项2. 动态初始化:灵活但需手动管理代

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》:本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo

C#TextBox设置提示文本方式(SetHintText)

《C#TextBox设置提示文本方式(SetHintText)》:本文主要介绍C#TextBox设置提示文本方式(SetHintText),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录C#TextBox设置提示文本效果展示核心代码总结C#TextBox设置提示文本效果展示核心代

SpringValidation数据校验之约束注解与分组校验方式

《SpringValidation数据校验之约束注解与分组校验方式》本文将深入探讨SpringValidation的核心功能,帮助开发者掌握约束注解的使用技巧和分组校验的高级应用,从而构建更加健壮和可... 目录引言一、Spring Validation基础架构1.1 jsR-380标准与Spring整合1