手把手教你如何使用MMDetection训练自己的数据集

2024-09-04 14:28
文章标签 数据 使用 训练 手把手 mmdetection

本文主要是介绍手把手教你如何使用MMDetection训练自己的数据集，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 一、配置环境
    • 1. 创建一个名为mmdetection的虚拟环境
    • 2. 安装GPU版本的PyTorch
    • 3. 安装mmdetection所需的包
  • 二、下载源码并安装配置文件
    • 1. 下载 GitHub 上的mmdetection源码到本地
    • 2. 安装源码中的配置文件
    • 3. 配置成功
  • 三、测试是否成功安装
    • 1. 下载配置文件和模型权重文件。
    • 2. 推理验证
  • 四、数据集准备
    • 1. 准备好coco格式的数据集
    • 2. 创建新的数据集类
    • 3. 录入数据集
  • 五、模型准备
    • 1. 模型选择
    • 2. 配置文件准备及修改
      • 生成配置文件
      • 修改配置文件
      • 注册数据集的metainfo
    • 3. 模型训练

参考 ： MMDetection全流程实战指南：手把手带你构建目标检测模型

一、配置环境

1. 创建一个名为mmdetection的虚拟环境

conda create -n mmdetection python=3.9 -y
conda activate mmdetection

2. 安装GPU版本的PyTorch

# GPU版本
conda install pytorch torchvision -c pytorch

这里如果安装失败了需要去官网 pytorch官网 找对应的版本下载；

先输入nvidia-smi命令查看可下载的cuda的最高版本
在这里插入图片描述
我的可下载的最高CUDA版本为12.0，因此我选择11.8的这个下载命令进行下载

在这里插入图片描述
在这里插入图片描述

下载后进行检验是否安装成功

import torch
torch.cuda.is_available()
exit()

在这里插入图片描述
可以看到输出为true，安装成功。

3. 安装mmdetection所需的包

使用 OpenMMLab 推出的 MIM 来安装 MMEngine 和 MMCV 两个必要的库。

pip install -U openmim
mim install mmengine
mim install "mmcv>=2.0.0"

至此，需要下载的包就都全部完成了，可以使用conda list命令来查看一下是否都安装成功了。
在这里插入图片描述

二、下载源码并安装配置文件

1. 下载 GitHub 上的mmdetection源码到本地

cd /path #（进入到你自己下载mmdetection代码的位置）
# 在Github上git代码
git clone https://github.com/open-mmlab/mmdetection.git

如果git失败就直接下载源码即可

github-mmdetection

在这里插入图片描述

2. 安装源码中的配置文件

# 进入mmdetection对应的文件夹
cd mmdetection
# 安装配置文件
pip install -v -e .

在这里插入图片描述

3. 配置成功

在这里插入图片描述

三、测试是否成功安装

1. 下载配置文件和模型权重文件。

mim download mmdet --config rtmdet_tiny_8xb32-300e_coco --dest .

在这里插入图片描述
下载结束后可以在当前文件夹中发现两个文件

  • rtmdet_tiny_8xb32-300e_coco.py
  • rtmdet_tiny_8xb32-300e_coco_20220902_112414-78e30dcc.pth。
    在这里插入图片描述

2. 推理验证

python demo/image_demo.py demo/demo.jpg rtmdet_tiny_8xb32-300e_coco.py --weights rtmdet_tiny_8xb32-300e_coco_20220902_112414-78e30dcc.pth --device cuda

在输入命令后我遇到了 “AssertionError: MMCV==2.2.0 is used but incompatible. Please install mmcv>=2.0.0rc4, <2.2.0” 的问题

在这里插入图片描述

  • 解决方法：注释掉/mmdetection-main/mmdet/init.py文件中的相关断言
# assert (mmcv_version >= digit_version(mmcv_minimum_version)
#         and mmcv_version < digit_version(mmcv_maximum_version)), \
#     f'MMCV=={mmcv.__version__} is used but incompatible. ' \
#     f'Please install mmcv>={mmcv_minimum_version}, <{mmcv_maximum_version}.'

在这里插入图片描述
再次运行后成功

在这里插入图片描述
结果可在outputs文件夹中查看；

在这里插入图片描述
至此mmdetection的安装和配置完成，下面将进行自定义数据集的配置。

四、数据集准备

1. 准备好coco格式的数据集

coco格式数据集如下所示:

在这里插入图片描述
在mmdetection文件夹下新建一个data数据集，再新建一个子文件夹名为coco，然后存放自己的数据集；

在这里插入图片描述

2. 创建新的数据集类

进入 mmdet/datasets 这个文件夹里，并创建一个自己命名数据集的 Python 文件，我的叫做plantdoc.py

在这里插入图片描述
由于是 coco 格式的数据集，因此可以直接复制名为 coco.py 文件的内容到 plantdoc.py 文件，然后修改里面对应的内容。

我们需要把coco.py中的类名、数据集中的类别和标注的颜色换成自己的数据集的类名

  • 下图为coco.py中的内容
    在这里插入图片描述

  • 下图为我自己的plantdoc.py类
    在这里插入图片描述

3. 录入数据集

在mmdet/datasets/init.py中仿照coco的格式把我们自己的数据集进行录入。

  • import 的内容就是我们自定义的 dataset 名字
  • 最后在下面也要加上对应 Dataset 的名称。
    在这里插入图片描述

五、模型准备

1. 模型选择

在config文件夹中选择想要使用的目标检测模型，我这里选择的是deformable_detr

在这里插入图片描述

配置文件中设置的epoch=50,batch=32，我这里根据我自己的设备修改为了epoch=36,batch=8

在这里插入图片描述

2. 配置文件准备及修改

由于在 MMDetection 里大多用的都是 COCO 格式的数据集，因此在这里直接修改 work_dir 文件夹里对应的配置文件会比起重新创建更加的方便。

生成配置文件

首先运行deformable-detr的训练命令

python tools/train.py configs/deformable_detr/deformable-detr_r50_16xb2-50e_coco.py

可以看到mmdetection文件夹中生成了一个work_dirs子文件夹，deformable-detr_r50_16xb2-50e_coco.py中就是完整的配置文件；

在这里插入图片描述

修改配置文件

把配置文件修改成和我们自己的数据集适配

  • 修改数据集类别数：从80改为27（自己的数据集类别个数）

在这里插入图片描述

  • 修改dataset_type：从CocoDataset改为PlantdocDataset（自己的数据集名称）

在这里插入图片描述

  • 还可以修改学习率：比如数据集很少的话，可以把学习率调得比较小，从而让其能够慢慢的学习到图像的特征。

注册数据集的metainfo

在配置文件中创建一个 metainfo，将自己的 classes（标签类别）和 palette（调色板）写入，并且在 train_dataloader、val_dataloader 和 test_dataloader 里写入；

  • 我的数据集的metainfo:

在这里插入图片描述

metainfo = dict(classes=('Tomato Septoria leaf spot','Bell_pepper leaf','Corn rust leaf','Potato leaf late blight','Corn leaf blight','Strawberry leaf','Tomato leaf late blight','Blueberry leaf','Soyabean leaf','Tomato mold leaf','Squash Powdery mildew leaf','Raspberry leaf','Tomato leaf bacterial spot','Apple rust leaf','Peach leaf','Potato leaf early blight','Tomato Early blight leaf','Apple Scab Leaf','Grape leaf','Tomato leaf','Grape leaf black rot','Apple leaf','Corn Gray leaf spot','Bell_pepper leaf spot','Cherry leaf','Tomato leaf mosaic virus','Tomato leaf yellow virus',),palette=[(220,20,60,),(119,11,32,),(0,0,142,),(0,0,230,),(106,0,228,),(0,60,100,),(0,80,100,),(0,0,70,),(0,0,192,),(250,170,30,),(100,170,30,),(220,220,0,),(175,116,175,),(250,0,30,),(165,42,42,),(255,77,255,),(0,226,252,),(182,182,255,),(0,82,0,),(120,166,157,),(110,76,0,),(174,57,255,),(199,100,0,),(72,0,118,),(255,179,240,),(0,125,92,),(209,0,151,),])

在train_dataloader、test_dataloader、val_dataloader中都写入；

在这里插入图片描述
在这里插入图片描述

3. 模型训练

此时我们运行work_dirs目录下的配置文件，然后就可以开始训练啦

python tools/train.py work_dirs/deformable-detr_r50_16xb2-50e_coco.py

在这里插入图片描述
可以查看每个epoch的loss、剩余时间等等

这篇关于手把手教你如何使用MMDetection训练自己的数据集的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1136229。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2