使用自制COCO数据集进行PaddleDetection模型训练

2024-09-01 11:20
文章标签 进行 数据 使用 训练 模型 自制 coco paddledetection

本文主要是介绍使用自制COCO数据集进行PaddleDetection模型训练，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本次模型训练基于百度飞浆的Baseline：
19届智能车百度创意组识别 - 飞桨AI Studio星河社区 (baidu.com)

一、收集数据及数据处理

  1. 用摄像头拍摄实物，这里先选用baseline中给好的数据集。在这里插入图片描述
  2. 创建VOC文件夹，文件夹里包含Annotations和JPEGImages两个文件夹。需要进行标注操作的图片将会放在JPEGImages文件夹里，标注生成的xml文件将会放在Annotations文件夹里。
  3. 图片重命名。统一命名格式，便于进行增广操作。
    在这里插入图片描述命名格式示例：000001.jpg、00XXXX.jpg。
  4. 上述重命名步骤会用到的python文件：
import os# 指定图片所在的文件夹名称
folder_name = 'image_set'
# 获取当前工作目录
current_directory = os.getcwd()
# 构建文件夹的完整路径
folder_path = os.path.join(current_directory, folder_name)# 检查文件夹是否存在
if not os.path.exists(folder_path):print(f"警告：未找到名为 '{folder_name}' 的文件夹。")
else:# 确保文件夹路径以斜杠结束if not folder_path.endswith('/'):folder_path += '/'# 获取文件夹内所有的文件名列表file_list = os.listdir(folder_path)# 初始化计数器counter = 1# 遍历文件列表并重命名图片for filename in sorted(file_list, key=lambda x: x.lower()):  # 按字母顺序排序if filename.lower().endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):# 构建新的文件名，确保编号始终为5位数字new_filename = f'{counter:06d}{os.path.splitext(filename)[1]}'# 构建完整的原始文件路径和新文件路径old_file_path = os.path.join(folder_path, filename)new_file_path = os.path.join(folder_path, new_filename)# 重命名文件os.rename(old_file_path, new_file_path)# 更新计数器counter += 1print("图片重命名完成。")

使用方法：将该python文件与“JPEGImages”文件夹放在同一目录下（即VOC文件夹），打开Windows终端，输入python指令运行即可。python img_rename.py。使用方法也可根据自己的需求灵活变化。

二、用labelimg进行数据集图片标注

lbelimg和labelme的使用方法很相似，安装的步骤也很相似。但是labelimg可以选择的标注类型比较多，有voc的xml，也有yolo。而labelme的好像只有json格式的，所以本次目标检测数据集标注选择labelimg。
相关教程：
labelme的开源GitHub库：labelme_github
labelimg的GitHub开源地址：labeimg_github
CSDN的安装教程：labelme的安装及使用_labelme安装-CSDN博客
labelimg安装教程：图像标注工具labelImg安装教程及使用方法_labelimg的安装和使用
labelimg的简单安装：pip install labelimg -i https://pypi.tuna.tsinghua.edu.cn/simple

  1. 打开labelimg标注工具。打开“Anaconda Prompt”终端，输入activate labelme（这里填写你自己配的装有labelimg的conda环境）；输入labelimg，运行工具。
  2. 在这里插入图片描述
  3. 在这里插入图片描述
  4. 标注结果如下图所示：在这里插入图片描述

三、数据集增广

数据集增广需要用到“ImgAug”软件。
GitHub链接：Fafa-DL/Image-Augmentation: Image augmentation for object detection, segmentation and classification (github.com)

  1. 增广选项：在这里插入图片描述
  2. Noise噪声、G-Blur高斯模糊、Bright亮度，这三个是常用的，根据具体场景不同可以加入HSV色域、V-Flip垂直翻转。（V-Flip在翻转图片的同时，也会对xml文件进行处理，使得标注结果仍然准确。这个软件做的还是很细的。）
  3. 时刻注意已有图片编号，每次标注前都要调整“起始输出编号”。
  4. 增广结果如下：在这里插入图片描述
    在这里插入图片描述
  5. 增广之后生成的xml文件可能有小错误：filename与path的文件名部分不匹配，这里是匹配的，如果遇到不匹配的情况，如要使用下面提到的工具来处理。在这里插入图片描述
  6. 使用方法：将该python文件与Annotations文件夹放在同一目录下，打开终端运行该python文件即可。
import os
import xml.etree.ElementTree as ETdef process_xml(xml_file):# 解析XML文件tree = ET.parse(xml_file)root = tree.getroot()# 获取<filename>和<path>元素filename_elem = root.find('filename')path_elem = root.find('path')if filename_elem is not None and path_elem is not None:# 获取filename和path的文本内容filename = filename_elem.textpath = path_elem.text# 从path中提取文件名path_filename = os.path.basename(path)# 比较filename和path中的文件名if filename != path_filename:# 将path中的文件名替换为filenamenew_path = os.path.join(os.path.dirname(path), filename)path_elem.text = new_path# 将修改后的内容写回XML文件tree.write(xml_file)def process_xml_files(xml_dir):# 遍历指定文件夹下的所有文件for filename in os.listdir(xml_dir):# 只处理XML文件if filename.endswith('.xml'):xml_file = os.path.join(xml_dir, filename)# 对每个XML文件进行处理process_xml(xml_file)# 指定包含XML文件的文件夹路径
xml_dir = 'Annotations'# 处理文件夹中的所有XML文件
process_xml_files(xml_dir)

四、将VOC类型的数据集转换成COCO类型

  1. VOC与COCO的讲解：VOC和COCO数据集讲解_voc数据集和coco数据集区别-CSDN博客
  2. 在步骤“一.2"中，我们已经创建了VOC文件夹，将以下python代码放在与VOC文件夹的同一目录下，打开终端运行即可。
import os
import random
import shutil
import json
import glob
import xml.etree.ElementTree as ETdef get(root, name):vars = root.findall(name)return varsdef get_and_check(root, name, length):vars = root.findall(name)if len(vars) == 0:raise ValueError("Can not find %s in %s." % (name, root.tag))if length > 0 and len(vars) != length:raise ValueError("The size of %s is supposed to be %d, but is %d."% (name, length, len(vars)))if length == 1:vars = vars[0]return varsdef get_filename_as_int(filename):try:filename = filename.replace("\\", "/")filename = os.path.splitext(os.path.basename(filename))[0]return int(filename)except:raise ValueError("Filename %s is supposed to be an integer." % (filename))# 获取数据集中类别的名字
def get_categories(xml_files):classes_names = []for xml_file in xml_files:tree = ET.parse(xml_file)root = tree.getroot()for member in root.findall("object"):classes_names.append(member[0].text)classes_names = list(set(classes_names))classes_names.sort()print(f"类别名字为{classes_names}")return {name: i for i, name in enumerate(classes_names)}def convert(xml_files, json_file):json_dict = {"images": [], "type": "instances", "annotations": [], "categories": []}if PRE_DEFINE_CATEGORIES is not None:categories = PRE_DEFINE_CATEGORIESelse:categories = get_categories(xml_files)bnd_id = START_BOUNDING_BOX_IDfor xml_file in xml_files:tree = ET.parse(xml_file)root = tree.getroot()path = get(root, "path")if len(path) == 1:filename = os.path.basename(path[0].text)elif len(path) == 0:filename = get_and_check(root, "filename", 1).textelse:raise ValueError("%d paths found in %s" % (len(path), xml_file))## The filename must be a numberimage_id = get_filename_as_int(filename)size = get_and_check(root, "size", 1)width = int(get_and_check(size, "width", 1).text)height = int(get_and_check(size, "height", 1).text)image = {"file_name": filename,"height": height,"width": width,"id": image_id,}json_dict["images"].append(image)## Currently we do not support segmentation.#  segmented = get_and_check(root, 'segmented', 1).text#  assert segmented == '0'for obj in get(root, "object"):category = get_and_check(obj, "name", 1).textif category not in categories:new_id = len(categories)categories[category] = new_idcategory_id = categories[category]bndbox = get_and_check(obj, "bndbox", 1)xmin = int(get_and_check(bndbox, "xmin", 1).text) - 1ymin = int(get_and_check(bndbox, "ymin", 1).text) - 1xmax = int(get_and_check(bndbox, "xmax", 1).text)ymax = int(get_and_check(bndbox, "ymax", 1).text)assert xmax > xminassert ymax > ymino_width = abs(xmax - xmin)o_height = abs(ymax - ymin)ann = {"area": o_width * o_height,"iscrowd": 0,"bbox": [xmin, ymin, o_width, o_height],"category_id": category_id,"ignore": 0,"image_id": image_id,"id": bnd_id,# "segmentation": [], # segmentation暂时用不上，paddle里也没有用这个}json_dict["annotations"].append(ann)bnd_id = bnd_id + 1for cate, cid in categories.items():cat = {"supercategory": "none", "id": cid, "name": cate}json_dict["categories"].append(cat)os.makedirs(os.path.dirname(json_file), exist_ok=True)json_fp = open(json_file, "w")json_str = json.dumps(json_dict)json_fp.write(json_str)json_fp.close()# 新建文件夹
def mkdir(path):path = path.strip()path = path.rstrip("\\")isExists = os.path.exists(path)if not isExists:os.makedirs(path)print(path + ' ----- folder created')return Trueelse:print(path + ' ----- folder existed')return Falseif __name__ == '__main__':# 验证集比例valRatio = 0.2# 测试集比例testRatio = 0.1# 获取当前脚本路径main_path = os.getcwd()# voc格式的图片和xml存放路径voc_images = os.path.join(main_path, 'VOC', 'JPEGImages')voc_annotations = os.path.join(main_path, 'VOC', 'Annotations')# 获取xml数量xmlNum = len(os.listdir(voc_annotations))val_files_num = int(xmlNum * valRatio)test_files_num = int(xmlNum * testRatio)coco_path = os.path.join(main_path, 'COCO')# coco_images = os.path.join(main_path, 'COCO', 'images')coco_json_annotations = os.path.join(main_path, 'COCO', 'annotations')coco_train2017 = os.path.join(main_path, 'COCO', 'train')coco_val2017 = os.path.join(main_path, 'COCO', 'valid')coco_test2017 = os.path.join(main_path, 'COCO', 'test')xml_val = os.path.join(main_path, 'xml', 'xml_val')xml_test = os.path.join(main_path, 'xml', 'xml_test')xml_train = os.path.join(main_path, 'xml', 'xml_train')mkdir(coco_path)# mkdir(coco_images)mkdir(coco_json_annotations)mkdir(xml_val)mkdir(xml_test)mkdir(xml_train)mkdir(coco_train2017)mkdir(coco_val2017)if testRatio:mkdir(coco_test2017)for i in os.listdir(voc_images):img_path = os.path.join(voc_images, i)shutil.copy(img_path, coco_train2017)# voc images copy to coco imagesfor i in os.listdir(voc_annotations):img_path = os.path.join(voc_annotations, i)shutil.copy(img_path, xml_train)print("\n\n %s files copied to %s" % (val_files_num, xml_val))for i in range(val_files_num):if len(os.listdir(xml_train)) > 0:random_file = random.choice(os.listdir(xml_train))#         print("%d) %s"%(i+1,random_file))source_file = "%s/%s" % (xml_train, random_file)# 分离文件名font, ext = random_file.split('.')valJpgPathList = [j for j in os.listdir(coco_train2017) if j.startswith(font)]if random_file not in os.listdir(xml_val):shutil.move(source_file, xml_val)shutil.move(os.path.join(coco_train2017, valJpgPathList[0]), coco_val2017)else:random_file = random.choice(os.listdir(xml_train))source_file = "%s/%s" % (xml_train, random_file)shutil.move(source_file, xml_val)# 分离文件名font, ext = random_file.split('.')valJpgPathList = [j for j in os.listdir(coco_train2017) if j.startswith(font)]shutil.move(os.path.join(coco_train2017, valJpgPathList[0]), coco_val2017)else:print('The folders are empty, please make sure there are enough %d file to move' % (val_files_num))breakfor i in range(test_files_num):if len(os.listdir(xml_train)) > 0:random_file = random.choice(os.listdir(xml_train))#         print("%d) %s"%(i+1,random_file))source_file = "%s/%s" % (xml_train, random_file)# 分离文件名font, ext = random_file.split('.')testJpgPathList = [j for j in os.listdir(coco_train2017) if j.startswith(font)]if random_file not in os.listdir(xml_test):shutil.move(source_file, xml_test)shutil.move(os.path.join(coco_train2017, testJpgPathList[0]), coco_test2017)else:random_file = random.choice(os.listdir(xml_train))source_file = "%s/%s" % (xml_train, random_file)shutil.move(source_file, xml_test)# 分离文件名font, ext = random_file.split('.')testJpgPathList = [j for j in os.listdir(coco_train2017) if j.startswith(font)]shutil.move(os.path.join(coco_train2017, testJpgPathList[0]), coco_test2017)else:print('The folders are empty, please make sure there are enough %d file to move' % (val_files_num))breakprint("\n\n" + "*" * 27 + "[ Done ! Go check your file ]" + "*" * 28)START_BOUNDING_BOX_ID = 1PRE_DEFINE_CATEGORIES = Nonexml_val_files = glob.glob(os.path.join(xml_val, "*.xml"))xml_test_files = glob.glob(os.path.join(xml_test, "*.xml"))xml_train_files = glob.glob(os.path.join(xml_train, "*.xml"))convert(xml_val_files, os.path.join(coco_json_annotations, 'valid.json'))convert(xml_train_files, os.path.join(coco_json_annotations, 'train.json'))if testRatio:convert(xml_test_files, os.path.join(coco_json_annotations, 'test.json'))# 删除文件夹try:shutil.rmtree(xml_train)shutil.rmtree(xml_val)shutil.rmtree(xml_test)shutil.rmtree(os.path.join(main_path, 'xml'))except:print(f'xml文件删除失败，请手动删除{xml_train, xml_val, xml_test}')
  1. VOC2COCO的结果：在这里插入图片描述在这里插入图片描述
  2. 文件夹train、valid、test里存放的是图片文件，本次目标检测模型训练中暂时用不到这三个文件。

五、PaddleDetection模型训练

  1. 将上述生成的三个json文件下载到AIStudio平台中。
    在这里插入图片描述
  2. images文件夹下放的是本次模型训练需要用到的所有图片（也就是train、valid、test里存放的图片文件的总和）。
  3. **修改yml文件参数：num_classes在这里插入图片描述
  4. 参考baseline的指引开始模型的训练、导出、推理。
  5. 推理结果如下：在这里插入图片描述

这篇关于使用自制COCO数据集进行PaddleDetection模型训练的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1126793。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2