【Week Y2】使用自己的数据集训练YOLO-v5s

2024-03-20 00:28
文章标签 数据 使用 训练 yolo week y2 v5s

本文主要是介绍【Week Y2】使用自己的数据集训练YOLO-v5s，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Y2-使用自己的数据集训练YOLO-v5s

  • 零、遇到的问题汇总
    • （1）遇到git的`import error`
    • （2）`Error：Dataset not found`
    • （3）`Error：删除中文后，训练图片路径不存在`
  • 一、.xml文件里保存的是什么
  • 二、准备好自己的数据
  • 三、创建split_train_val.py 文件，运行并生成 train.txt、test.txt、val.txt
    • （1）在yolov5-master工程内，新建一个.py文件，并命名为`split_train_val.py`：
    • （2）将以下代码写入该文件，设置自己的`.xml`和`.txt`文件路径：
    • （3）然后执行该文件，就得到下面的结果：
    • （4）创建`voc_label.py`，填充图片路径
  • 四、创建 `fruit.yaml `文件
  • 五、开始用自己的数据集训练模型
    • (1) 输入训练指令
    • （2）查看训练结果

本文使用水果数据集、CPU进行训练，包含200张图像，水果类别分为4类， Banana、Snake fruit、Dragon fruit和Pineapple。

本文先列出执行过程中遇到的问题以及解决办法，再将执行步骤一一说明，给出的代码是我修改过后的最终的代码。

需要注意的是：!!!文件路径不要包含中文!!!

零、遇到的问题汇总

（1）遇到git的import error

参考【这里】解决：
在这里插入图片描述
找到提示报错的路径d:\jupyter notebook\365-DL\.venv\Lib\site-packages\git\cmd.py，然后在该文件中添加一行：

os.environ['GIT_PYTHON_REFRESH'] = 'quiet'

（2）Error：Dataset not found

在这里插入图片描述
路径中含有中文，删除中文。

（3）Error：删除中文后，训练图片路径不存在

在这里插入图片描述
将split_train_val.py和voc_label.py生成的所有文件删除，重新生成。【注意检查路径】

如下所示：
【注意abs_path的路径，本文的图像路径为D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master\Y2-fruit_data\images\*.png，而abs_path=D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master】
在这里插入图片描述

一、.xml文件里保存的是什么

在annotations/文件夹里，打开任意一个.xml文件，这里打开fruit0.xml，文件内容如下：
注意每个标签组内的信息，后续voc_label.py文件会提取这些信息。


<annotation><folder>images</folder><filename>fruit0.png</filename><size><width>400</width><height>300</height><depth>3</depth></size><segmented>0</segmented><object><name>pineapple</name><pose>Unspecified</pose><truncated>0</truncated><occluded>0</occluded><difficult>0</difficult><bndbox><xmin>38</xmin><ymin>82</ymin><xmax>271</xmax><ymax>227</ymax></bndbox></object><object><name>snake fruit</name><pose>Unspecified</pose><truncated>0</truncated><occluded>0</occluded><difficult>0</difficult><bndbox><xmin>244</xmin><ymin>174</ymin><xmax>280</xmax><ymax>207</ymax></bndbox></object><object><name>dragon fruit</name><pose>Unspecified</pose><truncated>0</truncated><occluded>0</occluded><difficult>0</difficult><bndbox><xmin>254</xmin><ymin>228</ymin><xmax>351</xmax><ymax>300</ymax></bndbox></object>
</annotation>

二、准备好自己的数据

本次使用水果数据集，数据集包含200张图片，每张图片包含4种不同类别的水果：Banana、Snake fruit、Dragon fruit和Pineapple。
在这里插入图片描述

三、创建split_train_val.py 文件，运行并生成 train.txt、test.txt、val.txt

执行split_train_val.py前的文件结构：
在这里插入图片描述

（1）在yolov5-master工程内，新建一个.py文件，并命名为split_train_val.py：

在这里插入图片描述

（2）将以下代码写入该文件，设置自己的.xml和.txt文件路径：

# 导入必要的库
# 导入必要的库
import os
import random
import argparse# 创建一个参数解析器
parser = argparse.ArgumentParser()# 添加命令行参数，用于指定XML文件的路径，默认为“Annotations”文件夹
parser.add_argument('--xml_path', default='D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/annotations/', type=str, help='input xml label path')# 添加命令行参数，用于指定txt标签文件的路径，默认为“ImageSets/Main”文件夹
parser.add_argument('--txt_path', default='D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main', type=str, help='output txt label path')# 解析命令行参数
opt = parser.parse_args()# 定义训练验证和测试集的划分比例
trainval_percent = 1.0  # 使用全部数据
train_percent = 0.9     # 训练集占验证集的90%# 设置xml文件的路径，并根据命令行参数指定
xmlfilepath = opt.xml_path
print("xmlfilepath: ", xmlfilepath)# 设置txt文件的路径，并根据命令行参数指定
txtfilepath = opt.txt_path# 获取xml文件夹中的所有xml文件列表
total_xml = os.listdir(xmlfilepath)# 如果输出txt标签文件的文件夹不存在，创建它
if not os.path.exists(txtfilepath):os.makedirs(txtfilepath)# 获取xml文件的总数
num = len(total_xml)# 创建一个包含所有xml文件索引的列表
list_index = range(num)# 计算训练验证集的数量
tv = int(num*trainval_percent)# 计算训练集的数量
tr = int(num*train_percent)# 从所有xml文件索引中随机选择出训练验证集的索引
trainval = random.sample(list_index, tv)# 从训练验证集的索引中随机选择出训练集的索引
train = random.sample(list_index, tr)# 打开要写入的训练验证集、测试集、训练集、验证集的txt文件
file_trainval = open(txtfilepath + '/trainval.txt', 'w')
file_test = open(txtfilepath + '/test.txt', 'w')
file_train = open(txtfilepath + '/train.txt', 'w')
file_val = open(txtfilepath + '/val.txt', 'w')# 遍历所有xml文件的索引
for i in list_index:name = total_xml[i][:-4] + '\n' # 获取所有文件的名称（去掉后缀.xml），并添加换行符# 如果该索引在训练验证集中, 写入训练验证集txt文件，否则写入测试集txt文件if i in trainval:    file_trainval.write(name) # if i in train: # 如果该索引在训练集中, 写入训练集txt文件，否则写入验证集txt文件file_train.write(name)else:file_val.write(name)else:file_test.write(name)# 关闭所有打开的文件
file_trainval.close()
file_train.close()
file_val.close()
file_test.close()

（3）然后执行该文件，就得到下面的结果：

在这里插入图片描述
打开任意一个文件，查看内容：【此处打开val.txt，文件内保存的是个文件名】
在这里插入图片描述

（4）创建voc_label.py，填充图片路径

voc_label.py代码如下：

# 导入必要的库
import xml.etree.ElementTree as ET
import os
from os import getcwd
# 定义数据集的名称
sets = ['train', 'val', 'test']
# 根据所用数据集，填写类别名称，本文使用水果数据集，包含4类，分别如下：
classes = ["banana", "snake fruit", "dragon fruit", "pineapple"]
# 获取当前工作目录的绝对路径
abs_path = os.getcwd()  # abs_path:  D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master
print("abs_path: ", abs_path)
# 定义一个函数，将边界框的坐标绝对值转换为相对于图像大小的比例
def convert(size, box):dw = 1./(size[0])  # 计算图像宽度的倒数dh = 1./(size[1])  # 计算图像高度的倒数x  = (box[0] + box[1])/ 2.0 - 1  # 计算中心点的x坐标y  = (box[2] + box[3])/ 2.0 - 1  # 计算中心点的y坐标w  = box[1] - box[0]  # 计算边界框的宽度h  = box[3] - box[2]  # 计算边界框的高度x  = x * dw  # 缩放x坐标w  = w * dw  # 缩放宽度y  = y * dh  # 缩放y坐标h  = h * dh  # 缩放高度return x,y,w,h# 定义一个函数，将标注文件从xml格式转为YOLO格式
dir = "D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/"
def convert_annotations(image_id):# 打开xml标注文件in_file = open(dir + "annotations/%s.xml" % (image_id), encoding='UTF-8') # 打开要写入的YOLO格式标签文件out_file = open(dir + "labels/%s.txt" % (image_id), 'w')# 解析xml文件tree = ET.parse(in_file)root = tree.getroot()# 获取图像文件名filename = root.find('filename').text# 获取图像文件格式filenameFormat = filename.split(".")[1]# 获取图像尺寸信息size = root.find('size')# 获取图像的宽、高w = int(size.find('width').text)h = int(size.find('height').text)for obj in root.iter('object'):# 获取对象的难度标志difficult = obj.find('difficult').text# 获取对象的类别名称cls = obj.find('name').textif cls not in classes or int(difficult)==1:continue# 获取类别索引cls_id = classes.index(cls)# 获取对象的边界框信息，包括：左上角x坐标、左上角y坐标、右下角x坐标、右下角y坐标xmlbox = obj.find('bndbox')b = ( float(xmlbox.find('xmin').text),float(xmlbox.find('xmax').text),float(xmlbox.find('ymin').text),float(xmlbox.find('ymax').text) )b1,b2,b3,b4 = b# 标注越界修正if b2 > w:b2 = wif b4 > h:b4 = hb = (b1,b2,b3,b4)# 调用convert()函数，将边界框坐标转换为YOLO格式bb = convert((w,h), b)out_file.write(str(cls_id)+" " + " ".join([str(a) for a in bb]) + "\n")return filenameFormat
# 获取当前工作目录
wd = getcwd()
# 遍历每个数据集（train、val、test）
for image_set in sets:# 如果labels目录不存在，就创建它if not os.path.exists(dir + "labels/"):os.makedirs(dir + "labels/")# 从数据集文件中获取图像id列表image_ids = open(dir + "ImageSets/Main/%s.txt" % (image_set)).read().strip().split()# 打开要写入的文件，写入图像文件路径和格式list_file = open(dir + "ImageSets/Main/%s.txt" % (image_set), 'w')for image_id in image_ids:filenameFormat = convert_annotations(image_id)list_file.write(abs_path + '/Y2-fruit_data/images/%s.%s\n' % (image_id,filenameFormat))list_file.close()

执行后得到结果：
在这里插入图片描述

四、创建 fruit.yaml 文件

新建fruit.yaml 文件：

train: D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main/train.txt
val: D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main/val.txt# number of classes
nc: 4# class names
names: ["banana", "snake fruit", "dragon fruit", "pineapple"]

五、开始用自己的数据集训练模型

(1) 输入训练指令

由于本机没有GPU，所以执行：python .\train.py --img 900 --batch 2 --epoch 100 --data .\fruit.yaml --cfg .\models\yolov5s.yaml --weights .\yolov5s.pt --device cpu
在这里插入图片描述

如果有GPU，则执行：python .\train.py --img 900 --batch 2 --epoch 100 --data .\fruit.yaml --cfg .\models\yolov5s.yaml --weights .\yolov5s.pt --device '0'

执行命令后，出现如下提示，表明训练进行中，等待训练完成，查看训练结果。
在这里插入图片描述
在这里插入图片描述

（2）查看训练结果

在这里插入图片描述
如图中所示，使用YOLO-v5s训练本文的数据集：

  • a. 100个epoch需要的时间是3.382小时
  • b. YOLOv5s 网络结构: 157 层, 参数量是7020913 , 梯度是0 , GFLOPs是15.8
  • c. 还显示了类别的训练结果，包括P-R值、mAP50的值
  • d. 训练结果保存在runs\train\exp7，在该路径下生成了许多文件：
  • 在这里插入图片描述
    打开其中一张图片，如val_batch1_labels.jpg，如下图，显示了各水果的标签：
    在这里插入图片描述
    打开val_batch1_labels.jpg，则显示了带预测值的标签：
    在这里插入图片描述

这篇关于【Week Y2】使用自己的数据集训练YOLO-v5s的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/827696。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2