使用mmrotate对自定义数据集进行检测

2024-02-06 00:44

本文主要是介绍使用mmrotate对自定义数据集进行检测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这里写自定义目录标题

  • 安装
    • 虚拟环境创建与准备
    • 安装mmrotate
  • 自定义数据集
    • 标注数据与格式转换
    • 数据集划分与大图像切片
  • 训练与测试
    • 修改配置文件
    • 执行训练
    • 进行测试
      • 鸣谢

安装

mmrotate是一个自带工作目录的python工具箱,个人觉得,在不熟悉的情况下,还是每次使用时都git一个新的下来为好。

虚拟环境创建与准备

首先,确保自身已经安装了Anaconda,然后执行以下命令以创建名为openmmlab的虚拟环境:

conda create -n openmmlab python=3.10

随后,进入虚拟环境:

conda activate openmmlab

之后,去pytorch官网下载gpu版本的pytorch,其中package选择使用conda。
pytorch下载界面
本人要执行的命令就是:

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

CUDA不必追求最新版本,适合自身硬件环境即可

安装mmrotate

首先,在openmmlab环境中安装基础库:

pip install -U openmim
mim install mmcv-full
mim install mmdet\<3.0.0

随后,安装mmrotate,因为本人进行的是旋转框检测,所以需要对mmrotate进行开发和参数重写,因此不直接采用pip install mmrotate这种安装,而是采用以下:

git clone https://github.com/open-mmlab/mmrotate.git
cd mmrotate
pip install -v -e .

自定义数据集

标注数据与格式转换

采用labelme将标注成四边形,生成json文件。本检测中mmrotate使用DOTA数据集格式,因此需要进行一次格式转换,转换为如下的DOTA数据集格式并存储于txt文件内:
x1, y1, x2, y2, x3, y3, x4, y4, object_classname, difficult
x1, y1, x2, y2, x3, y3, x4, y4, object_classname, difficult
...
其中x1,y1为第一个点的坐标,x2,y2为第二个点的坐标,以此类推。object_classname 为类别名,中间不要有空格,difficult为难度,一般0或1即可,有些情况下会出现2。
关于DOTA的格式转换,我参考了这篇博客,在此对转换过程略过。
通过labelme标注产生的x1等数字可能是浮点数,这并不会影响检测效果。

数据集划分与大图像切片

由于我采用的是几个遥感图像场景,尺度非常之大,而数量又很少,因此在进行进一步操作前,先手动将其中几景划分为train集,几景划分为test集,分别放在不同的文件夹内。
在/tools/data/dota/split/split_configs/目录下找到ss_train.py、ss_val.py,主要修改img_dirs、ann_dirs,sizes,save_dir,save_ext这几个参数
数据集参数
随后,执行以下命令以完成数据集切片:

python tools/data/dota/split/img_split.py --base_json tools/data/dota/split/split_configs/ss_train.json
# AND
python tools/data/dota/split/img_split.py --base_json tools/data/dota/split/split_configs/ss_val.json

切片完成后的数据集的样本数会非常大,但是对于大场景,尤其是遥感影像来说,很多切片内都是空白的,直接将其输入到model里进行训练未免效率过于低下,因此对数据集做一次精简,排除无标签的数据:

import os
directory = '/path/to/your/train/annfiles'
for filename in os.listdir(directory):if filename.endswith('.txt'):filepath = os.path.join(directory, filename)if os.path.isfile(filepath):with open(filepath, 'r') as file:# 使用 seek 和 tell 来判断文件是否有内容initial_position = file.tell()file.seek(0)content = file.read(1)  # 只读取一个字节file.seek(initial_position)  # 回到初始位置,不影响后续操作# 如果内容为空或只有一个换行符(有些空文件可能含有一个换行符)if not content or content == '\n':# 要对空文件执行的操作if os.path.exists(filepath) and os.path.isfile(filepath):try:os.remove(filepath)print(f"成功删除文件: {filepath}")except Exception as e:print(f"删除文件时发生错误: {e}")else:print(f"文件 {filepath} 不存在或不是普通文件,无法删除")filepath2=filepath.replace('annfiles','images').replace('.txt','.png')if os.path.exists(filepath2) and os.path.isfile(filepath2):try:os.remove(filepath2)print(f"成功删除文件: {filepath2}")except Exception as e:print(f"删除文件时发生错误: {e}")else:print(f"文件 {filepath2} 不存在或不是普通文件,无法删除")

训练与测试

修改配置文件

具体来说,有以下几处地方需要修改:

  1. 在train.py中将config改为–config,然后添加default值,指向configs/rotated_faster_rcnn/rotated_faster_rcnn_r50_fpn_1x_dota_le90.py:
parser.add_argument('--config', default='configs/rotated_faster_rcnn/rotated_faster_rcnn_r50_fpn_1x_dota_le90.py',help='train config file path')
  1. 在train.py中将work-dir改为–work-dir,然后添加default值,指向run
parser.add_argument('--work-dir', default='run',help='the dir to save logs and models')
  1. 在rotated_faster_rcnn_r50_fpn_1x_dota_le90.py中将numclass改为自己数据集的种类数
  2. 在mmrotate/datasets/dota.py中修改自己的类别的名字,仅一个类时,末尾需要加逗号
  3. 在configs/base/datasets/dotav1.py中修改数据路径,其中test数据集无需annfiles
  4. 在/home/zanyinkai/mmrotate/configs/base/schedules/schedule_1x.py中修改自己的epoch等参数

执行训练

python tools/train.py

进行测试

python tools/test.py --show_dir 'work_dir/vis'

鸣谢

本人在进行mmrotate时,参考了以下内容:
基于MMRotate训练自定义数据集 做旋转目标检测 2022-3-30
MMRotate文档

这篇关于使用mmrotate对自定义数据集进行检测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/682680

相关文章

利用python实现对excel文件进行加密

《利用python实现对excel文件进行加密》由于文件内容的私密性,需要对Excel文件进行加密,保护文件以免给第三方看到,本文将以Python语言为例,和大家讲讲如何对Excel文件进行加密,感兴... 目录前言方法一:使用pywin32库(仅限Windows)方法二:使用msoffcrypto-too

Java Spring 中 @PostConstruct 注解使用原理及常见场景

《JavaSpring中@PostConstruct注解使用原理及常见场景》在JavaSpring中,@PostConstruct注解是一个非常实用的功能,它允许开发者在Spring容器完全初... 目录一、@PostConstruct 注解概述二、@PostConstruct 注解的基本使用2.1 基本代

C#使用StackExchange.Redis实现分布式锁的两种方式介绍

《C#使用StackExchange.Redis实现分布式锁的两种方式介绍》分布式锁在集群的架构中发挥着重要的作用,:本文主要介绍C#使用StackExchange.Redis实现分布式锁的... 目录自定义分布式锁获取锁释放锁自动续期StackExchange.Redis分布式锁获取锁释放锁自动续期分布式

springboot使用Scheduling实现动态增删启停定时任务教程

《springboot使用Scheduling实现动态增删启停定时任务教程》:本文主要介绍springboot使用Scheduling实现动态增删启停定时任务教程,具有很好的参考价值,希望对大家有... 目录1、配置定时任务需要的线程池2、创建ScheduledFuture的包装类3、注册定时任务,增加、删

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

Pandas透视表(Pivot Table)的具体使用

《Pandas透视表(PivotTable)的具体使用》透视表用于在数据分析和处理过程中进行数据重塑和汇总,本文就来介绍一下Pandas透视表(PivotTable)的具体使用,感兴趣的可以了解一下... 目录前言什么是透视表?使用步骤1. 引入必要的库2. 读取数据3. 创建透视表4. 查看透视表总结前言

Python 交互式可视化的利器Bokeh的使用

《Python交互式可视化的利器Bokeh的使用》Bokeh是一个专注于Web端交互式数据可视化的Python库,本文主要介绍了Python交互式可视化的利器Bokeh的使用,具有一定的参考价值,感... 目录1. Bokeh 简介1.1 为什么选择 Bokeh1.2 安装与环境配置2. Bokeh 基础2

Android使用ImageView.ScaleType实现图片的缩放与裁剪功能

《Android使用ImageView.ScaleType实现图片的缩放与裁剪功能》ImageView是最常用的控件之一,它用于展示各种类型的图片,为了能够根据需求调整图片的显示效果,Android提... 目录什么是 ImageView.ScaleType?FIT_XYFIT_STARTFIT_CENTE

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型