voc数据集的充分利用——将图片和xml按类别保存在不同文件夹、将目标剪裁后按类别保存在不同文件夹

本文主要是介绍voc数据集的充分利用——将图片和xml按类别保存在不同文件夹、将目标剪裁后按类别保存在不同文件夹,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言:

在做深度学习的时候,经常需要收集样本,有些样本我们可以从开源数据库中提取,省去自己标注的麻烦,下面介绍几种提取的方法,根据自己需要拿去用。

1. 将图片按类别保存在不同文件夹,文件名不变。

执行完得到如下结果,只是对图片进行的分类,没有对xml进行分类。
对xml和图片都进行分类的代码参考本博客第3部分介绍。
在这里插入图片描述
在这里插入图片描述

voc_class-pic.py

import xml.dom.minidom
import os
import cv2################
FindPath = './VOC2012/Annotations/'
FileNames = os.listdir(FindPath)
pic_path = './VOC2012/JPEGImages/'
save_path_pic = './VOC2012-class/'
Resnet_height = 224
Rsenet_width = 224
start_name = 0
one_location_list = []
all_location_list = []
all_name_list = []
def get_all_location(now_box_root):for box_i in range(len(now_box_root)):location_xmin = now_box[box_i].getElementsByTagName('xmin')location_xmax = now_box[box_i].getElementsByTagName('xmax')location_ymin = now_box[box_i].getElementsByTagName('ymin')location_ymax = now_box[box_i].getElementsByTagName('ymax')location_xmin = location_xmin[0].firstChild.datalocation_xmax = location_xmax[0].firstChild.datalocation_ymin = location_ymin[0].firstChild.datalocation_ymax = location_ymax[0].firstChild.datareturn location_xmin, location_xmax , location_ymin , location_ymaxdef get_path(target_save_path):target_path = save_path_pic + target_save_path + '/'if os.path.exists(target_path) is False:os.makedirs(target_path)print('target_path = ',target_path)return target_pathdef crop_pic(start_name , picName , img_name ,location_size):img = cv2.imread(pic_path + picName + '.jpg')for img_i in range(len(img_name)):print('1 = ',location_size[img_i][0] ,' ',location_size[img_i][1] ,' ' ,location_size[img_i][2], ' ',location_size[img_i][3])image = img[ location_size[img_i][2]:location_size[img_i][3] , location_size[img_i][0]:location_size[img_i][1] ]width = location_size[img_i][1] - location_size[img_i][0]height = location_size[img_i][3] - location_size[img_i][2]target_width = (Resnet_height * width) // height#image = cv2.resize(image , (Resnet_height , Resnet_height) ,interpolation=cv2.INTER_CUBIC) #resizecrop_path = get_path(img_name[img_i])print('crop_path = ',crop_path)######  save crop pic#cv2.imwrite(crop_path + picName + '.jpg',image)######  save original piccv2.imwrite(crop_path + picName + '.jpg',img)for file_name in FileNames:dom = xml.dom.minidom.parse(os.path.join(FindPath, file_name))# print('filename = ',file_name)get_file_to_pic_name,err_xml = os.path.splitext(file_name)print('---------------------------')print('before = ',get_file_to_pic_name)root = dom.documentElementobject_root = root.getElementsByTagName('object')length = len(object_root)for root_i in range(length):now_name = object_root[root_i].getElementsByTagName('name')now_box = object_root[root_i].getElementsByTagName('bndbox')for get_name_nums in range(len(now_name)):#######    get nameget_object_name = now_name[get_name_nums].firstChild.dataprint('get_name = ',get_object_name)all_name_list.append(get_object_name)#######  get locationget_xmin , get_xmax , get_ymin , get_ymax = get_all_location(now_box)one_location_list.append(int(get_xmin))one_location_list.append(int(get_xmax))one_location_list.append(int(get_ymin))one_location_list.append(int(get_ymax))all_location_list.append(one_location_list)one_location_list = []# print('all = ',all_location_list)if len(all_name_list) != len(all_location_list):print('Error file is ',file_name,',shut down!')break# print('len = ',len(all_name_list),'     ',len(all_location_list))############ crop piccrop_pic(start_name , get_file_to_pic_name,all_name_list , all_location_list)start_name += 1all_name_list=[]all_location_list=[]

2. 将图片剪裁后,按类别保存在不同的文件夹

执行完之后的结果如下,图片是剪裁后的:
在这里插入图片描述
在这里插入图片描述
代码和上面那段就一句不同,放在这里直接copy去用。
voc_crop.py

import xml.dom.minidom
import os
import cv2################
FindPath = './VOC2012/Annotations/'
FileNames = os.listdir(FindPath)
pic_path = './VOC2012/JPEGImages/'
save_path_pic = './VOC2012-crop/'
Resnet_height = 224
Rsenet_width = 224
start_name = 0
one_location_list = []
all_location_list = []
all_name_list = []
def get_all_location(now_box_root):for box_i in range(len(now_box_root)):location_xmin = now_box[box_i].getElementsByTagName('xmin')location_xmax = now_box[box_i].getElementsByTagName('xmax')location_ymin = now_box[box_i].getElementsByTagName('ymin')location_ymax = now_box[box_i].getElementsByTagName('ymax')location_xmin = location_xmin[0].firstChild.datalocation_xmax = location_xmax[0].firstChild.datalocation_ymin = location_ymin[0].firstChild.datalocation_ymax = location_ymax[0].firstChild.datareturn location_xmin, location_xmax , location_ymin , location_ymaxdef get_path(target_save_path):target_path = save_path_pic + target_save_path + '/'if os.path.exists(target_path) is False:os.makedirs(target_path)print('target_path = ',target_path)return target_pathdef crop_pic(start_name , picName , img_name ,location_size):img = cv2.imread(pic_path + picName + '.jpg')for img_i in range(len(img_name)):print('1 = ',location_size[img_i][0] ,' ',location_size[img_i][1] ,' ' ,location_size[img_i][2], ' ',location_size[img_i][3])image = img[ location_size[img_i][2]:location_size[img_i][3] , location_size[img_i][0]:location_size[img_i][1] ]width = location_size[img_i][1] - location_size[img_i][0]height = location_size[img_i][3] - location_size[img_i][2]target_width = (Resnet_height * width) // height#image = cv2.resize(image , (Resnet_height , Resnet_height) ,interpolation=cv2.INTER_CUBIC) #resizecrop_path = get_path(img_name[img_i])print('crop_path = ',crop_path)######  save crop piccv2.imwrite(crop_path + picName + '.jpg',image)######  save original pic#cv2.imwrite(crop_path + picName + '.jpg',img)for file_name in FileNames:dom = xml.dom.minidom.parse(os.path.join(FindPath, file_name))# print('filename = ',file_name)get_file_to_pic_name,err_xml = os.path.splitext(file_name)print('---------------------------')print('before = ',get_file_to_pic_name)root = dom.documentElementobject_root = root.getElementsByTagName('object')length = len(object_root)for root_i in range(length):now_name = object_root[root_i].getElementsByTagName('name')now_box = object_root[root_i].getElementsByTagName('bndbox')for get_name_nums in range(len(now_name)):#######    get nameget_object_name = now_name[get_name_nums].firstChild.dataprint('get_name = ',get_object_name)all_name_list.append(get_object_name)#######  get locationget_xmin , get_xmax , get_ymin , get_ymax = get_all_location(now_box)one_location_list.append(int(get_xmin))one_location_list.append(int(get_xmax))one_location_list.append(int(get_ymin))one_location_list.append(int(get_ymax))all_location_list.append(one_location_list)one_location_list = []# print('all = ',all_location_list)if len(all_name_list) != len(all_location_list):print('Error file is ',file_name,',shut down!')break# print('len = ',len(all_name_list),'     ',len(all_location_list))############ crop piccrop_pic(start_name , get_file_to_pic_name,all_name_list , all_location_list)start_name += 1all_name_list=[]all_location_list=[]

3. 将voc数据集按类别保存图片,按类别保存xml标注文件。

执行之后,会将person相关的图片和xml都提取出来。
在这里插入图片描述
每次只能分出一种类别,例如“person”类别提取代码如下,要提取其他类别,需要修改代码,需要修改的地方我再下面注释了########### 1 change,########### 2 change,########### 3 change,另外路径根据自己的需要修改。
voc-class-pic-xml.py

import os
import os.path
import shutilfileDir_ann = './VOC2012/Annotations/'
fileDir_img = './VOC2012/JPEGImages/'########### 1 change
saveDir_img = './VOC2012-class-xml/person/' if not os.path.exists(saveDir_img):os.mkdir(saveDir_img)names = locals()for files in os.walk(fileDir_ann):for file in files[2]:print file + "-->start!"########### 2 changesaveDir_ann = './VOC2012-class-xml/person/'if not os.path.exists(saveDir_ann):os.mkdir(saveDir_ann)fp = open(fileDir_ann + file)      saveDir_ann = saveDir_ann + filefp_w = open(saveDir_ann, 'w')classes = ['aeroplane','bicycle','bird','boat','bottle','bus','car','cat','chair','cow','diningtable',\'dog','horse','motorbike','pottedplant','sheep','sofa','train','tvmonitor','person']lines = fp.readlines()ind_start = []ind_end = []lines_id_start = lines[:]lines_id_end = lines[:]while "\t<object>\n" in lines_id_start:a = lines_id_start.index("\t<object>\n")ind_start.append(a)lines_id_start[a] = "delete"while "\t</object>\n" in lines_id_end:b = lines_id_end.index("\t</object>\n")ind_end.append(b)lines_id_end[b] = "delete"for k in range(0,len(ind_start)):for j in range(0,len(classes)):if classes[j] in lines[ind_start[k]+1]:a = ind_start[k]names['block%d'%k] = lines[a:ind_end[k]+1]break########### 3 changeclasses1 = '\t\t<name>person</name>\n'string_start = lines[0:ind_start[0]]string_end = lines[ind_end[-1] + 1:]a = 0for k in range(0,len(ind_start)):if classes1 in names['block%d'%k]:a += 1string_start += names['block%d'%k]string_start += string_endfor c in range(0,len(string_start)):fp_w.write(string_start[c])fp_w.close()if a == 0:os.remove(saveDir_ann)else:name_img = fileDir_img + os.path.splitext(file)[0] + ".jpg"shutil.copy(name_img,saveDir_img)fp.close()

参考资料:

https://www.cnblogs.com/tyty-Somnuspoppy/p/10250486.html
https://download.csdn.net/download/u014513323/10823680

这篇关于voc数据集的充分利用——将图片和xml按类别保存在不同文件夹、将目标剪裁后按类别保存在不同文件夹的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1057065

相关文章

Python脚本实现自动删除C盘临时文件夹

《Python脚本实现自动删除C盘临时文件夹》在日常使用电脑的过程中,临时文件夹往往会积累大量的无用数据,占用宝贵的磁盘空间,下面我们就来看看Python如何通过脚本实现自动删除C盘临时文件夹吧... 目录一、准备工作二、python脚本编写三、脚本解析四、运行脚本五、案例演示六、注意事项七、总结在日常使用

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

java脚本使用不同版本jdk的说明介绍

《java脚本使用不同版本jdk的说明介绍》本文介绍了在Java中执行JavaScript脚本的几种方式,包括使用ScriptEngine、Nashorn和GraalVM,ScriptEngine适用... 目录Java脚本使用不同版本jdk的说明1.使用ScriptEngine执行javascript2.

在MyBatis的XML映射文件中<trim>元素所有场景下的完整使用示例代码

《在MyBatis的XML映射文件中<trim>元素所有场景下的完整使用示例代码》在MyBatis的XML映射文件中,trim元素用于动态添加SQL语句的一部分,处理前缀、后缀及多余的逗号或连接符,示... 在MyBATis的XML映射文件中,<trim>元素用于动态地添加SQL语句的一部分,例如SET或W

Python xmltodict实现简化XML数据处理

《Pythonxmltodict实现简化XML数据处理》Python社区为提供了xmltodict库,它专为简化XML与Python数据结构的转换而设计,本文主要来为大家介绍一下如何使用xmltod... 目录一、引言二、XMLtodict介绍设计理念适用场景三、功能参数与属性1、parse函数2、unpa

mac中资源库在哪? macOS资源库文件夹详解

《mac中资源库在哪?macOS资源库文件夹详解》经常使用Mac电脑的用户会发现,找不到Mac电脑的资源库,我们怎么打开资源库并使用呢?下面我们就来看看macOS资源库文件夹详解... 在 MACOS 系统中,「资源库」文件夹是用来存放操作系统和 App 设置的核心位置。虽然平时我们很少直接跟它打交道,但了

关于Maven中pom.xml文件配置详解

《关于Maven中pom.xml文件配置详解》pom.xml是Maven项目的核心配置文件,它描述了项目的结构、依赖关系、构建配置等信息,通过合理配置pom.xml,可以提高项目的可维护性和构建效率... 目录1. POM文件的基本结构1.1 项目基本信息2. 项目属性2.1 引用属性3. 项目依赖4. 构