使用YOLOv10训练自定义数据集之二（数据集准备）

2024-09-07 01:28
文章标签 数据 使用 训练 之二 准备 定义数据 yolov10

本文主要是介绍使用YOLOv10训练自定义数据集之二（数据集准备），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

0x00 前言

经过上一篇环境部署的介绍【传送门】，我们已经得到了一个基本可用的YOLOv10的运行环境，还需要我们再准备一些数据，用于模型训练。

0x01 准备数据集

1. 图像标注工具

数据集是训练模型基础素材。

对于小白来说，一般推荐从一些开放网站中下载直接使用，官方推荐了一个名为Roboflow的数据集网站。Roboflow是一个免费开源数据集管理平台，它不仅提供免费的数据集，还支持上传自己的数据集并进行格式转换，一键导出VOC、COCO、yolo、csv等格式。网站的数据下载方法和在线标注这里不过多表述。另外，还有一个知名的数据分析的竞赛平台：kaggle 也比较推荐，里面会有一些开源的数据集在注册之后可以使用。
在这里插入图片描述

还有一种方式，是使用离线工具自己标注数据，这里有两款工具推荐：labelImg和Labelme。这两款工具都不错。

labelImg在2021年10月份已经停止了github仓库更新，且不支持在python3.9以上环境安装。所以未来能走多远是个未知，新的项目label studio 融合了labelimg，有兴趣的可以装下label studio【传送门】。不过，这款工具在conda环境下，安装比较简单，使用操作简洁，易上手。还是不错的。
下载地址：
https://github.com/HumanSignal/labelImg

在这里插入图片描述

labelme也是一款python的标注工具，项目大约在2019年左右创建，目前已知在社区中活跃更新代码，截止到2024年9月，已经发布了200多个版本。支持很多功能，比如标注分类，多边形分割等等。这里是十分推荐使用的，后续LZ体验后，再与大家一起分享。
下载地址：
https://github.com/labelmeai/labelme
在这里插入图片描述

2. 标注数据格式

工具使用教程可以百度下，资料比较多。这里着重说些yolo的数据格式。楼主开始找了一些网上奇奇怪怪的数据集，导致要先转成COCO格式，再转成YOLO格式，中间几番曲折，最终还是放弃了自己标注。
放弃非标准数据集的原因有几个：

  1. 数据量较大，因为一个数据集有20w张图片，压缩后大小在12G左右；
  2. 格式转换繁琐，因为有标注数据该有对应关系，COCO格式是一个大json，转YOLO时一直提示内存错误(Memory error)。改了半天代码才转换成yolo格式；
  3. 本地算力不足，本来开开心心要训练20轮，结果第一轮的1%需要1个小时，等了10个小时才10%，土豪可以跳过这些细节。

唠叨了半天说下关键的数据格式。

2.1 YOLO 标注格式
2.1.1. yaml配置文件

说道YOLO标注格式，先说下数据集的配置文件，coco.yaml（名字可以随便起，代码中指定即可）。官方代码仓库中在ultralytics\cfg\datasets\coco.yaml。训练模型是可以指定这个路径。关键字段解释如下：

字段名解释
1path数据集的根目录（绝对路径或者相对路径）
2train训练集路径（绝对路径或者相对路径），必备
3val验证集路径（绝对路径或者相对路径），最好带上，不然训练完也不知道效果
4test测试集路径（绝对路径或者相对路径）
5names分类名字，也就是标签的列表
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/coco8  # dataset root dir
train: images/train  # train images (relative to 'path') 4 images
val: images/val  # val images (relative to 'path') 4 images
test:  # test images (optional)# Classes (80 COCO classes)
names:0: person1: bicycle2: car# ...77: teddy bear78: hair drier79: toothbrush
2.1.2. dataset数据集目录结构

train和valid数据集的结构是一样的，包含images和labels两个目录，分别用于存储图片文件和txt标注文件。
images目录结构如下：
在这里插入图片描述
labels目录结构如下：
在这里插入图片描述

2.1.3. txt标注文件格式

这里引用官网的一段描述：
The *.txt file should be formatted with one row per object in class x_center y_center width height format. Box coordinates must be in normalized xywh format (from 0 to 1). If your boxes are in pixels, you should divide x_center and width by image width, and y_center and height by image height. Class numbers should be zero-indexed (start with 0).
简而言之，就是所有的txt文件必须每行一个对象[class x y width height] 这个5元组，中间用空格分割的格式书写。如果有多个分类，就写多行。分类标签号必须从0开始。楼主试了下从15开始，训练时会报错。

xywh 格式说明
在这里插入图片描述

txt文件示例：
在这里插入图片描述

COCO 标注格式

COCO 数据集的标注格式是 JSON（JavaScript Object Notation）格式,该文件包含有关图像及其上的对象的详细信息。
json的主要结构示例如下：

{"info": info,"licenses": [license],"images": [image],"annotations": [annotation],"categories": [category]
}
  1. info数据段部分，用处不大，可以空着。示例如下：
"info":{"description":"This is stable 1.0 version of the 2014 MS COCO dataset.","url":"http:\/\/mscoco.org","version":"1.0","year":2014,"contributor":"Microsoft COCO group","date_created":"2015-01-27 09:11:52.357475"
},
  1. licenses是包含多个license实例的数组，用处不大，可以为空。这里放一个license类型的示例：
{"url":"http:\/\/creativecommons.org\/licenses\/by-nc-sa\/2.0\/","id":1,"name":"Attribution-NonCommercial-ShareAlike License"
},
  1. Images是包含多个image实例的数组，对于一个image类型的实例：
{"license":3,"file_name":"COCO_val2014_000000391895.jpg","coco_url":"http:\/\/mscoco.org\/images\/391895","height":360,"width":640,"date_captured":"2013-11-14 11:18:45","flickr_url":"http:\/\/farm9.staticflickr.com\/8186\/8119368305_4e622c8349_z.jpg","id":391895
},
  1. annotations记录了每一张图片的标注信息，是json中最重要的组成部分。segmentation是分割标注，bbox是目标框标注，image_id是对应的图片id，category_id是目标分类。需要注意的是，这里只介绍分类和分割的标注，COCO的关键点标注结果还会引入keypoints，这里也不赘述了。
"annotations": [{"segmentation": [[510.66,423.01,511.72,...423.01,510.45,423.01]],"area": 702.1057499999998,"iscrowd": 0,"image_id": 289343,"bbox": [473.07,395.93,38.65,28.67],"category_id": 18,"id": 1768},{"segmentation": [[289.74,443.39,302.29,...444.27,291.88,443.74]],"area": 27718.476299999995,"iscrowd": 0,"image_id": 61471,"bbox": [272.1,200.23,151.97,279.77],"category_id": 18,"id": 1773},......"segmentation": {"counts": [272,2,4,4,...16,228,8,10250],"size": [240,320]},"area": 18419,"iscrowd": 1,"image_id": 448263,"bbox": [1,0,276,122],"category_id": 1,"id": 900100448263},
  1. categories是一个包含多个category实例的数组，数据量比较小。categories结构示例如下：
{"supercategory": "person","id": 1,"name": "person"
},
{"supercategory": "vehicle","id": 2,"name": "bicycle"
},

0x03 标注数据

楼主花了一个晚上标注了大约1000条左右，吐血+老眼昏花。用工具标注效率还是比较高的。加油，骚年，你也可以的。

0x04 训练模型的Tips

要训练好一个模型，总会有一些问题，比如我数据集要多大呀，框图的时候框多大呀。这个LZ也查了很多国内公开的资料，描述都不太详细。只是范范的说越多越好。其实答案已经在ultralytics官网写好了。传阅给诸君一起学习下。【传送门】

分割线================================

本指南介绍了如何使用YOLOv5 🚀 生成最佳 mAP 和训练效果。

大多数情况下，只要数据集足够大且标签齐全，无需更改模型或训练设置就能获得良好的结果。如果一开始效果不佳，您可以采取一些措施来改进，但我们始终建议用户在考虑任何更改之前，先使用所有默认设置进行训练。这有助于建立性能基线，发现需要改进的地方。

如果您对训练结果有疑问想找人咨询，我们建议您提供尽可能多的信息这样才能得到有用的回复。请提供结果图（train losses、val losses、P、R、mAP）、PR curve、confusion matrix、training mosaics、测试结果和数据集统计图像（如 labels.png）。所有这些都位于您的 project/name 目录，通常是 yolov5/runs/train/exp.

我们为希望在YOLOv5 培训中获得最佳效果的用户准备了一份完整的指南。

数据集

  • 建议每类图片数量 ≥ 1500 张
  • 建议每类实例数量≥ 10000 个（标记对象）
  • 图像种类。必须能代表部署环境。对于真实世界的使用案例，我们建议使用不同时间、不同季节、不同天气、不同光线、不同角度、不同来源（网上搜索、本地收集、不同摄像头）等的图像。
  • 标签一致性。所有图像中所有类别的所有实例都必须贴上标签。如果图像中有遗漏的标记对象（类）会影响效果。
  • 标签准确性。标签必须紧密包围每个对象。对象与边界框之间不得有空隙。任何对象都不能缺少标签。
  • 标签验证。 查看 train_batch*.jpg 在火车启动时验证标签是否正确，即查看 example 。
  • 背景图像。背景图片是没有物体的图像，添加到数据集中可以减少误报（FP）。我们建议使用约 0-10% 的背景图片来帮助减少误报率（COCO 有 1000 张背景图片供参考，占总数的 1%）。背景图片不需要标签。

参考文献

https://blog.csdn.net/u011119817/article/details/118532364
https://www.zhihu.com/column/p/29393415

这篇关于使用YOLOv10训练自定义数据集之二（数据集准备）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1143666。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2