使用YOLOv10训练自定义数据集之二(数据集准备)

2024-09-07 01:28

本文主要是介绍使用YOLOv10训练自定义数据集之二(数据集准备),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

0x00 前言

经过上一篇环境部署的介绍【传送门】,我们已经得到了一个基本可用的YOLOv10的运行环境,还需要我们再准备一些数据,用于模型训练。

0x01 准备数据集

1. 图像标注工具

数据集是训练模型基础素材。

对于小白来说,一般推荐从一些开放网站中下载直接使用,官方推荐了一个名为Roboflow的数据集网站。Roboflow是一个免费开源数据集管理平台,它不仅提供免费的数据集,还支持上传自己的数据集并进行格式转换,一键导出VOC、COCO、yolo、csv等格式。网站的数据下载方法和在线标注这里不过多表述。另外,还有一个知名的数据分析的竞赛平台:kaggle 也比较推荐,里面会有一些开源的数据集在注册之后可以使用。
在这里插入图片描述

还有一种方式,是使用离线工具自己标注数据,这里有两款工具推荐:labelImg和Labelme。这两款工具都不错。

labelImg在2021年10月份已经停止了github仓库更新,且不支持在python3.9以上环境安装。所以未来能走多远是个未知,新的项目label studio 融合了labelimg,有兴趣的可以装下label studio【传送门】。不过,这款工具在conda环境下,安装比较简单,使用操作简洁,易上手。还是不错的。
下载地址:
https://github.com/HumanSignal/labelImg

在这里插入图片描述

labelme也是一款python的标注工具,项目大约在2019年左右创建,目前已知在社区中活跃更新代码,截止到2024年9月,已经发布了200多个版本。支持很多功能,比如标注分类,多边形分割等等。这里是十分推荐使用的,后续LZ体验后,再与大家一起分享。
下载地址:
https://github.com/labelmeai/labelme
在这里插入图片描述

2. 标注数据格式

工具使用教程可以百度下,资料比较多。这里着重说些yolo的数据格式。楼主开始找了一些网上奇奇怪怪的数据集,导致要先转成COCO格式,再转成YOLO格式,中间几番曲折,最终还是放弃了自己标注。
放弃非标准数据集的原因有几个:

  1. 数据量较大,因为一个数据集有20w张图片,压缩后大小在12G左右;
  2. 格式转换繁琐,因为有标注数据该有对应关系,COCO格式是一个大json,转YOLO时一直提示内存错误(Memory error)。改了半天代码才转换成yolo格式;
  3. 本地算力不足,本来开开心心要训练20轮,结果第一轮的1%需要1个小时,等了10个小时才10%,土豪可以跳过这些细节。

唠叨了半天说下关键的数据格式。

2.1 YOLO 标注格式
2.1.1. yaml配置文件

说道YOLO标注格式,先说下数据集的配置文件,coco.yaml(名字可以随便起,代码中指定即可)。官方代码仓库中在ultralytics\cfg\datasets\coco.yaml。训练模型是可以指定这个路径。关键字段解释如下:

字段名解释
1path数据集的根目录(绝对路径或者相对路径)
2train训练集路径(绝对路径或者相对路径),必备
3val验证集路径(绝对路径或者相对路径),最好带上,不然训练完也不知道效果
4test测试集路径(绝对路径或者相对路径)
5names分类名字,也就是标签的列表
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco8  # dataset root dir
train: images/train  # train images (relative to 'path') 4 images
val: images/val  # val images (relative to 'path') 4 images
test:  # test images (optional)# Classes (80 COCO classes)
names:0: person1: bicycle2: car# ...77: teddy bear78: hair drier79: toothbrush
2.1.2. dataset数据集目录结构

trainvalid数据集的结构是一样的,包含images和labels两个目录,分别用于存储图片文件和txt标注文件。
images目录结构如下:
在这里插入图片描述
labels目录结构如下:
在这里插入图片描述

2.1.3. txt标注文件格式

这里引用官网的一段描述:
The *.txt file should be formatted with one row per object in class x_center y_center width height format. Box coordinates must be in normalized xywh format (from 0 to 1). If your boxes are in pixels, you should divide x_center and width by image width, and y_center and height by image height. Class numbers should be zero-indexed (start with 0).
简而言之,就是所有的txt文件必须每行一个对象[class x y width height] 这个5元组,中间用空格分割的格式书写。如果有多个分类,就写多行。分类标签号必须从0开始。楼主试了下从15开始,训练时会报错。

xywh 格式说明
在这里插入图片描述

txt文件示例:
在这里插入图片描述

COCO 标注格式

COCO 数据集的标注格式是 JSON(JavaScript Object Notation)格式,该文件包含有关图像及其上的对象的详细信息。
json的主要结构示例如下:

{"info": info,"licenses": [license],"images": [image],"annotations": [annotation],"categories": [category]
}
  1. info数据段部分,用处不大,可以空着。示例如下:
"info":{"description":"This is stable 1.0 version of the 2014 MS COCO dataset.","url":"http:\/\/mscoco.org","version":"1.0","year":2014,"contributor":"Microsoft COCO group","date_created":"2015-01-27 09:11:52.357475"
},
  1. licenses是包含多个license实例的数组,用处不大,可以为空。这里放一个license类型的示例:
{"url":"http:\/\/creativecommons.org\/licenses\/by-nc-sa\/2.0\/","id":1,"name":"Attribution-NonCommercial-ShareAlike License"
},
  1. Images是包含多个image实例的数组,对于一个image类型的实例:
{"license":3,"file_name":"COCO_val2014_000000391895.jpg","coco_url":"http:\/\/mscoco.org\/images\/391895","height":360,"width":640,"date_captured":"2013-11-14 11:18:45","flickr_url":"http:\/\/farm9.staticflickr.com\/8186\/8119368305_4e622c8349_z.jpg","id":391895
},
  1. annotations记录了每一张图片的标注信息,是json中最重要的组成部分。segmentation是分割标注,bbox是目标框标注,image_id是对应的图片id,category_id是目标分类。需要注意的是,这里只介绍分类和分割的标注,COCO的关键点标注结果还会引入keypoints,这里也不赘述了。
"annotations": [{"segmentation": [[510.66,423.01,511.72,...423.01,510.45,423.01]],"area": 702.1057499999998,"iscrowd": 0,"image_id": 289343,"bbox": [473.07,395.93,38.65,28.67],"category_id": 18,"id": 1768},{"segmentation": [[289.74,443.39,302.29,...444.27,291.88,443.74]],"area": 27718.476299999995,"iscrowd": 0,"image_id": 61471,"bbox": [272.1,200.23,151.97,279.77],"category_id": 18,"id": 1773},......"segmentation": {"counts": [272,2,4,4,...16,228,8,10250],"size": [240,320]},"area": 18419,"iscrowd": 1,"image_id": 448263,"bbox": [1,0,276,122],"category_id": 1,"id": 900100448263},
  1. categories是一个包含多个category实例的数组,数据量比较小。categories结构示例如下:
{"supercategory": "person","id": 1,"name": "person"
},
{"supercategory": "vehicle","id": 2,"name": "bicycle"
},

0x03 标注数据

楼主花了一个晚上标注了大约1000条左右,吐血+老眼昏花。用工具标注效率还是比较高的。加油,骚年,你也可以的。

0x04 训练模型的Tips

要训练好一个模型,总会有一些问题,比如我数据集要多大呀,框图的时候框多大呀。这个LZ也查了很多国内公开的资料,描述都不太详细。只是范范的说越多越好。其实答案已经在ultralytics官网写好了。传阅给诸君一起学习下。【传送门】

分割线================================

本指南介绍了如何使用YOLOv5 🚀 生成最佳 mAP 和训练效果。

大多数情况下,只要数据集足够大且标签齐全,无需更改模型或训练设置就能获得良好的结果。如果一开始效果不佳,您可以采取一些措施来改进,但我们始终建议用户在考虑任何更改之前,先使用所有默认设置进行训练。这有助于建立性能基线,发现需要改进的地方。

如果您对训练结果有疑问想找人咨询,我们建议您提供尽可能多的信息这样才能得到有用的回复。请提供结果图(train losses、val losses、P、R、mAP)、PR curve、confusion matrix、training mosaics、测试结果和数据集统计图像(如 labels.png)。所有这些都位于您的 project/name 目录,通常是 yolov5/runs/train/exp.

我们为希望在YOLOv5 培训中获得最佳效果的用户准备了一份完整的指南。

数据集

  • 建议每类图片数量1500
  • 建议每类实例数量10000 个(标记对象)
  • 图像种类。必须能代表部署环境。对于真实世界的使用案例,我们建议使用不同时间、不同季节、不同天气、不同光线、不同角度、不同来源(网上搜索、本地收集、不同摄像头)等的图像。
  • 标签一致性。所有图像中所有类别的所有实例都必须贴上标签。如果图像中有遗漏的标记对象(类)会影响效果
  • 标签准确性。标签必须紧密包围每个对象。对象与边界框之间不得有空隙。任何对象都不能缺少标签。
  • 标签验证。 查看 train_batch*.jpg 在火车启动时验证标签是否正确,即查看 example 。
  • 背景图像。背景图片是没有物体的图像,添加到数据集中可以减少误报(FP)。我们建议使用约 0-10% 的背景图片来帮助减少误报率(COCO 有 1000 张背景图片供参考,占总数的 1%)。背景图片不需要标签。

参考文献

https://blog.csdn.net/u011119817/article/details/118532364
https://www.zhihu.com/column/p/29393415

这篇关于使用YOLOv10训练自定义数据集之二(数据集准备)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1143666

相关文章

Linux使用fdisk进行磁盘的相关操作

《Linux使用fdisk进行磁盘的相关操作》fdisk命令是Linux中用于管理磁盘分区的强大文本实用程序,这篇文章主要为大家详细介绍了如何使用fdisk进行磁盘的相关操作,需要的可以了解下... 目录简介基本语法示例用法列出所有分区查看指定磁盘的区分管理指定的磁盘进入交互式模式创建一个新的分区删除一个存

C#使用HttpClient进行Post请求出现超时问题的解决及优化

《C#使用HttpClient进行Post请求出现超时问题的解决及优化》最近我的控制台程序发现有时候总是出现请求超时等问题,通常好几分钟最多只有3-4个请求,在使用apipost发现并发10个5分钟也... 目录优化结论单例HttpClient连接池耗尽和并发并发异步最终优化后优化结论我直接上优化结论吧,

SpringBoot使用Apache Tika检测敏感信息

《SpringBoot使用ApacheTika检测敏感信息》ApacheTika是一个功能强大的内容分析工具,它能够从多种文件格式中提取文本、元数据以及其他结构化信息,下面我们来看看如何使用Ap... 目录Tika 主要特性1. 多格式支持2. 自动文件类型检测3. 文本和元数据提取4. 支持 OCR(光学

JAVA系统中Spring Boot应用程序的配置文件application.yml使用详解

《JAVA系统中SpringBoot应用程序的配置文件application.yml使用详解》:本文主要介绍JAVA系统中SpringBoot应用程序的配置文件application.yml的... 目录文件路径文件内容解释1. Server 配置2. Spring 配置3. Logging 配置4. Ma

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

C#使用yield关键字实现提升迭代性能与效率

《C#使用yield关键字实现提升迭代性能与效率》yield关键字在C#中简化了数据迭代的方式,实现了按需生成数据,自动维护迭代状态,本文主要来聊聊如何使用yield关键字实现提升迭代性能与效率,感兴... 目录前言传统迭代和yield迭代方式对比yield延迟加载按需获取数据yield break显式示迭

使用SQL语言查询多个Excel表格的操作方法

《使用SQL语言查询多个Excel表格的操作方法》本文介绍了如何使用SQL语言查询多个Excel表格,通过将所有Excel表格放入一个.xlsx文件中,并使用pandas和pandasql库进行读取和... 目录如何用SQL语言查询多个Excel表格如何使用sql查询excel内容1. 简介2. 实现思路3

java脚本使用不同版本jdk的说明介绍

《java脚本使用不同版本jdk的说明介绍》本文介绍了在Java中执行JavaScript脚本的几种方式,包括使用ScriptEngine、Nashorn和GraalVM,ScriptEngine适用... 目录Java脚本使用不同版本jdk的说明1.使用ScriptEngine执行javascript2.

c# checked和unchecked关键字的使用

《c#checked和unchecked关键字的使用》C#中的checked关键字用于启用整数运算的溢出检查,可以捕获并抛出System.OverflowException异常,而unchecked... 目录在 C# 中,checked 关键字用于启用整数运算的溢出检查。默认情况下,C# 的整数运算不会自