使用mmrotate对自定义数据集进行检测

2024-02-06 00:44

本文主要是介绍使用mmrotate对自定义数据集进行检测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这里写自定义目录标题

  • 安装
    • 虚拟环境创建与准备
    • 安装mmrotate
  • 自定义数据集
    • 标注数据与格式转换
    • 数据集划分与大图像切片
  • 训练与测试
    • 修改配置文件
    • 执行训练
    • 进行测试
      • 鸣谢

安装

mmrotate是一个自带工作目录的python工具箱,个人觉得,在不熟悉的情况下,还是每次使用时都git一个新的下来为好。

虚拟环境创建与准备

首先,确保自身已经安装了Anaconda,然后执行以下命令以创建名为openmmlab的虚拟环境:

conda create -n openmmlab python=3.10

随后,进入虚拟环境:

conda activate openmmlab

之后,去pytorch官网下载gpu版本的pytorch,其中package选择使用conda。
pytorch下载界面
本人要执行的命令就是:

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

CUDA不必追求最新版本,适合自身硬件环境即可

安装mmrotate

首先,在openmmlab环境中安装基础库:

pip install -U openmim
mim install mmcv-full
mim install mmdet\<3.0.0

随后,安装mmrotate,因为本人进行的是旋转框检测,所以需要对mmrotate进行开发和参数重写,因此不直接采用pip install mmrotate这种安装,而是采用以下:

git clone https://github.com/open-mmlab/mmrotate.git
cd mmrotate
pip install -v -e .

自定义数据集

标注数据与格式转换

采用labelme将标注成四边形,生成json文件。本检测中mmrotate使用DOTA数据集格式,因此需要进行一次格式转换,转换为如下的DOTA数据集格式并存储于txt文件内:
x1, y1, x2, y2, x3, y3, x4, y4, object_classname, difficult
x1, y1, x2, y2, x3, y3, x4, y4, object_classname, difficult
...
其中x1,y1为第一个点的坐标,x2,y2为第二个点的坐标,以此类推。object_classname 为类别名,中间不要有空格,difficult为难度,一般0或1即可,有些情况下会出现2。
关于DOTA的格式转换,我参考了这篇博客,在此对转换过程略过。
通过labelme标注产生的x1等数字可能是浮点数,这并不会影响检测效果。

数据集划分与大图像切片

由于我采用的是几个遥感图像场景,尺度非常之大,而数量又很少,因此在进行进一步操作前,先手动将其中几景划分为train集,几景划分为test集,分别放在不同的文件夹内。
在/tools/data/dota/split/split_configs/目录下找到ss_train.py、ss_val.py,主要修改img_dirs、ann_dirs,sizes,save_dir,save_ext这几个参数
数据集参数
随后,执行以下命令以完成数据集切片:

python tools/data/dota/split/img_split.py --base_json tools/data/dota/split/split_configs/ss_train.json
# AND
python tools/data/dota/split/img_split.py --base_json tools/data/dota/split/split_configs/ss_val.json

切片完成后的数据集的样本数会非常大,但是对于大场景,尤其是遥感影像来说,很多切片内都是空白的,直接将其输入到model里进行训练未免效率过于低下,因此对数据集做一次精简,排除无标签的数据:

import os
directory = '/path/to/your/train/annfiles'
for filename in os.listdir(directory):if filename.endswith('.txt'):filepath = os.path.join(directory, filename)if os.path.isfile(filepath):with open(filepath, 'r') as file:# 使用 seek 和 tell 来判断文件是否有内容initial_position = file.tell()file.seek(0)content = file.read(1)  # 只读取一个字节file.seek(initial_position)  # 回到初始位置,不影响后续操作# 如果内容为空或只有一个换行符(有些空文件可能含有一个换行符)if not content or content == '\n':# 要对空文件执行的操作if os.path.exists(filepath) and os.path.isfile(filepath):try:os.remove(filepath)print(f"成功删除文件: {filepath}")except Exception as e:print(f"删除文件时发生错误: {e}")else:print(f"文件 {filepath} 不存在或不是普通文件,无法删除")filepath2=filepath.replace('annfiles','images').replace('.txt','.png')if os.path.exists(filepath2) and os.path.isfile(filepath2):try:os.remove(filepath2)print(f"成功删除文件: {filepath2}")except Exception as e:print(f"删除文件时发生错误: {e}")else:print(f"文件 {filepath2} 不存在或不是普通文件,无法删除")

训练与测试

修改配置文件

具体来说,有以下几处地方需要修改:

  1. 在train.py中将config改为–config,然后添加default值,指向configs/rotated_faster_rcnn/rotated_faster_rcnn_r50_fpn_1x_dota_le90.py:
parser.add_argument('--config', default='configs/rotated_faster_rcnn/rotated_faster_rcnn_r50_fpn_1x_dota_le90.py',help='train config file path')
  1. 在train.py中将work-dir改为–work-dir,然后添加default值,指向run
parser.add_argument('--work-dir', default='run',help='the dir to save logs and models')
  1. 在rotated_faster_rcnn_r50_fpn_1x_dota_le90.py中将numclass改为自己数据集的种类数
  2. 在mmrotate/datasets/dota.py中修改自己的类别的名字,仅一个类时,末尾需要加逗号
  3. 在configs/base/datasets/dotav1.py中修改数据路径,其中test数据集无需annfiles
  4. 在/home/zanyinkai/mmrotate/configs/base/schedules/schedule_1x.py中修改自己的epoch等参数

执行训练

python tools/train.py

进行测试

python tools/test.py --show_dir 'work_dir/vis'

鸣谢

本人在进行mmrotate时,参考了以下内容:
基于MMRotate训练自定义数据集 做旋转目标检测 2022-3-30
MMRotate文档

这篇关于使用mmrotate对自定义数据集进行检测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/682680

相关文章

Pandas使用SQLite3实战

《Pandas使用SQLite3实战》本文主要介绍了Pandas使用SQLite3实战,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1 环境准备2 从 SQLite3VlfrWQzgt 读取数据到 DataFrame基础用法:读

JSON Web Token在登陆中的使用过程

《JSONWebToken在登陆中的使用过程》:本文主要介绍JSONWebToken在登陆中的使用过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录JWT 介绍微服务架构中的 JWT 使用结合微服务网关的 JWT 验证1. 用户登录,生成 JWT2. 自定义过滤

Java中StopWatch的使用示例详解

《Java中StopWatch的使用示例详解》stopWatch是org.springframework.util包下的一个工具类,使用它可直观的输出代码执行耗时,以及执行时间百分比,这篇文章主要介绍... 目录stopWatch 是org.springframework.util 包下的一个工具类,使用它

Java进行文件格式校验的方案详解

《Java进行文件格式校验的方案详解》这篇文章主要为大家详细介绍了Java中进行文件格式校验的相关方案,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、背景异常现象原因排查用户的无心之过二、解决方案Magandroidic Number判断主流检测库对比Tika的使用区分zip

Java使用Curator进行ZooKeeper操作的详细教程

《Java使用Curator进行ZooKeeper操作的详细教程》ApacheCurator是一个基于ZooKeeper的Java客户端库,它极大地简化了使用ZooKeeper的开发工作,在分布式系统... 目录1、简述2、核心功能2.1 CuratorFramework2.2 Recipes3、示例实践3

springboot security使用jwt认证方式

《springbootsecurity使用jwt认证方式》:本文主要介绍springbootsecurity使用jwt认证方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录前言代码示例依赖定义mapper定义用户信息的实体beansecurity相关的类提供登录接口测试提供一

go中空接口的具体使用

《go中空接口的具体使用》空接口是一种特殊的接口类型,它不包含任何方法,本文主要介绍了go中空接口的具体使用,具有一定的参考价值,感兴趣的可以了解一下... 目录接口-空接口1. 什么是空接口?2. 如何使用空接口?第一,第二,第三,3. 空接口几个要注意的坑坑1:坑2:坑3:接口-空接口1. 什么是空接

springboot security快速使用示例详解

《springbootsecurity快速使用示例详解》:本文主要介绍springbootsecurity快速使用示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录创www.chinasem.cn建spring boot项目生成脚手架配置依赖接口示例代码项目结构启用s

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

java中使用POI生成Excel并导出过程

《java中使用POI生成Excel并导出过程》:本文主要介绍java中使用POI生成Excel并导出过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求说明及实现方式需求完成通用代码版本1版本2结果展示type参数为atype参数为b总结注:本文章中代码均为