voc数据集的充分利用——将图片和xml按类别保存在不同文件夹、将目标剪裁后按类别保存在不同文件夹

本文主要是介绍voc数据集的充分利用——将图片和xml按类别保存在不同文件夹、将目标剪裁后按类别保存在不同文件夹,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言:

在做深度学习的时候,经常需要收集样本,有些样本我们可以从开源数据库中提取,省去自己标注的麻烦,下面介绍几种提取的方法,根据自己需要拿去用。

1. 将图片按类别保存在不同文件夹,文件名不变。

执行完得到如下结果,只是对图片进行的分类,没有对xml进行分类。
对xml和图片都进行分类的代码参考本博客第3部分介绍。
在这里插入图片描述
在这里插入图片描述

voc_class-pic.py

import xml.dom.minidom
import os
import cv2################
FindPath = './VOC2012/Annotations/'
FileNames = os.listdir(FindPath)
pic_path = './VOC2012/JPEGImages/'
save_path_pic = './VOC2012-class/'
Resnet_height = 224
Rsenet_width = 224
start_name = 0
one_location_list = []
all_location_list = []
all_name_list = []
def get_all_location(now_box_root):for box_i in range(len(now_box_root)):location_xmin = now_box[box_i].getElementsByTagName('xmin')location_xmax = now_box[box_i].getElementsByTagName('xmax')location_ymin = now_box[box_i].getElementsByTagName('ymin')location_ymax = now_box[box_i].getElementsByTagName('ymax')location_xmin = location_xmin[0].firstChild.datalocation_xmax = location_xmax[0].firstChild.datalocation_ymin = location_ymin[0].firstChild.datalocation_ymax = location_ymax[0].firstChild.datareturn location_xmin, location_xmax , location_ymin , location_ymaxdef get_path(target_save_path):target_path = save_path_pic + target_save_path + '/'if os.path.exists(target_path) is False:os.makedirs(target_path)print('target_path = ',target_path)return target_pathdef crop_pic(start_name , picName , img_name ,location_size):img = cv2.imread(pic_path + picName + '.jpg')for img_i in range(len(img_name)):print('1 = ',location_size[img_i][0] ,' ',location_size[img_i][1] ,' ' ,location_size[img_i][2], ' ',location_size[img_i][3])image = img[ location_size[img_i][2]:location_size[img_i][3] , location_size[img_i][0]:location_size[img_i][1] ]width = location_size[img_i][1] - location_size[img_i][0]height = location_size[img_i][3] - location_size[img_i][2]target_width = (Resnet_height * width) // height#image = cv2.resize(image , (Resnet_height , Resnet_height) ,interpolation=cv2.INTER_CUBIC) #resizecrop_path = get_path(img_name[img_i])print('crop_path = ',crop_path)######  save crop pic#cv2.imwrite(crop_path + picName + '.jpg',image)######  save original piccv2.imwrite(crop_path + picName + '.jpg',img)for file_name in FileNames:dom = xml.dom.minidom.parse(os.path.join(FindPath, file_name))# print('filename = ',file_name)get_file_to_pic_name,err_xml = os.path.splitext(file_name)print('---------------------------')print('before = ',get_file_to_pic_name)root = dom.documentElementobject_root = root.getElementsByTagName('object')length = len(object_root)for root_i in range(length):now_name = object_root[root_i].getElementsByTagName('name')now_box = object_root[root_i].getElementsByTagName('bndbox')for get_name_nums in range(len(now_name)):#######    get nameget_object_name = now_name[get_name_nums].firstChild.dataprint('get_name = ',get_object_name)all_name_list.append(get_object_name)#######  get locationget_xmin , get_xmax , get_ymin , get_ymax = get_all_location(now_box)one_location_list.append(int(get_xmin))one_location_list.append(int(get_xmax))one_location_list.append(int(get_ymin))one_location_list.append(int(get_ymax))all_location_list.append(one_location_list)one_location_list = []# print('all = ',all_location_list)if len(all_name_list) != len(all_location_list):print('Error file is ',file_name,',shut down!')break# print('len = ',len(all_name_list),'     ',len(all_location_list))############ crop piccrop_pic(start_name , get_file_to_pic_name,all_name_list , all_location_list)start_name += 1all_name_list=[]all_location_list=[]

2. 将图片剪裁后,按类别保存在不同的文件夹

执行完之后的结果如下,图片是剪裁后的:
在这里插入图片描述
在这里插入图片描述
代码和上面那段就一句不同,放在这里直接copy去用。
voc_crop.py

import xml.dom.minidom
import os
import cv2################
FindPath = './VOC2012/Annotations/'
FileNames = os.listdir(FindPath)
pic_path = './VOC2012/JPEGImages/'
save_path_pic = './VOC2012-crop/'
Resnet_height = 224
Rsenet_width = 224
start_name = 0
one_location_list = []
all_location_list = []
all_name_list = []
def get_all_location(now_box_root):for box_i in range(len(now_box_root)):location_xmin = now_box[box_i].getElementsByTagName('xmin')location_xmax = now_box[box_i].getElementsByTagName('xmax')location_ymin = now_box[box_i].getElementsByTagName('ymin')location_ymax = now_box[box_i].getElementsByTagName('ymax')location_xmin = location_xmin[0].firstChild.datalocation_xmax = location_xmax[0].firstChild.datalocation_ymin = location_ymin[0].firstChild.datalocation_ymax = location_ymax[0].firstChild.datareturn location_xmin, location_xmax , location_ymin , location_ymaxdef get_path(target_save_path):target_path = save_path_pic + target_save_path + '/'if os.path.exists(target_path) is False:os.makedirs(target_path)print('target_path = ',target_path)return target_pathdef crop_pic(start_name , picName , img_name ,location_size):img = cv2.imread(pic_path + picName + '.jpg')for img_i in range(len(img_name)):print('1 = ',location_size[img_i][0] ,' ',location_size[img_i][1] ,' ' ,location_size[img_i][2], ' ',location_size[img_i][3])image = img[ location_size[img_i][2]:location_size[img_i][3] , location_size[img_i][0]:location_size[img_i][1] ]width = location_size[img_i][1] - location_size[img_i][0]height = location_size[img_i][3] - location_size[img_i][2]target_width = (Resnet_height * width) // height#image = cv2.resize(image , (Resnet_height , Resnet_height) ,interpolation=cv2.INTER_CUBIC) #resizecrop_path = get_path(img_name[img_i])print('crop_path = ',crop_path)######  save crop piccv2.imwrite(crop_path + picName + '.jpg',image)######  save original pic#cv2.imwrite(crop_path + picName + '.jpg',img)for file_name in FileNames:dom = xml.dom.minidom.parse(os.path.join(FindPath, file_name))# print('filename = ',file_name)get_file_to_pic_name,err_xml = os.path.splitext(file_name)print('---------------------------')print('before = ',get_file_to_pic_name)root = dom.documentElementobject_root = root.getElementsByTagName('object')length = len(object_root)for root_i in range(length):now_name = object_root[root_i].getElementsByTagName('name')now_box = object_root[root_i].getElementsByTagName('bndbox')for get_name_nums in range(len(now_name)):#######    get nameget_object_name = now_name[get_name_nums].firstChild.dataprint('get_name = ',get_object_name)all_name_list.append(get_object_name)#######  get locationget_xmin , get_xmax , get_ymin , get_ymax = get_all_location(now_box)one_location_list.append(int(get_xmin))one_location_list.append(int(get_xmax))one_location_list.append(int(get_ymin))one_location_list.append(int(get_ymax))all_location_list.append(one_location_list)one_location_list = []# print('all = ',all_location_list)if len(all_name_list) != len(all_location_list):print('Error file is ',file_name,',shut down!')break# print('len = ',len(all_name_list),'     ',len(all_location_list))############ crop piccrop_pic(start_name , get_file_to_pic_name,all_name_list , all_location_list)start_name += 1all_name_list=[]all_location_list=[]

3. 将voc数据集按类别保存图片,按类别保存xml标注文件。

执行之后,会将person相关的图片和xml都提取出来。
在这里插入图片描述
每次只能分出一种类别,例如“person”类别提取代码如下,要提取其他类别,需要修改代码,需要修改的地方我再下面注释了########### 1 change,########### 2 change,########### 3 change,另外路径根据自己的需要修改。
voc-class-pic-xml.py

import os
import os.path
import shutilfileDir_ann = './VOC2012/Annotations/'
fileDir_img = './VOC2012/JPEGImages/'########### 1 change
saveDir_img = './VOC2012-class-xml/person/' if not os.path.exists(saveDir_img):os.mkdir(saveDir_img)names = locals()for files in os.walk(fileDir_ann):for file in files[2]:print file + "-->start!"########### 2 changesaveDir_ann = './VOC2012-class-xml/person/'if not os.path.exists(saveDir_ann):os.mkdir(saveDir_ann)fp = open(fileDir_ann + file)      saveDir_ann = saveDir_ann + filefp_w = open(saveDir_ann, 'w')classes = ['aeroplane','bicycle','bird','boat','bottle','bus','car','cat','chair','cow','diningtable',\'dog','horse','motorbike','pottedplant','sheep','sofa','train','tvmonitor','person']lines = fp.readlines()ind_start = []ind_end = []lines_id_start = lines[:]lines_id_end = lines[:]while "\t<object>\n" in lines_id_start:a = lines_id_start.index("\t<object>\n")ind_start.append(a)lines_id_start[a] = "delete"while "\t</object>\n" in lines_id_end:b = lines_id_end.index("\t</object>\n")ind_end.append(b)lines_id_end[b] = "delete"for k in range(0,len(ind_start)):for j in range(0,len(classes)):if classes[j] in lines[ind_start[k]+1]:a = ind_start[k]names['block%d'%k] = lines[a:ind_end[k]+1]break########### 3 changeclasses1 = '\t\t<name>person</name>\n'string_start = lines[0:ind_start[0]]string_end = lines[ind_end[-1] + 1:]a = 0for k in range(0,len(ind_start)):if classes1 in names['block%d'%k]:a += 1string_start += names['block%d'%k]string_start += string_endfor c in range(0,len(string_start)):fp_w.write(string_start[c])fp_w.close()if a == 0:os.remove(saveDir_ann)else:name_img = fileDir_img + os.path.splitext(file)[0] + ".jpg"shutil.copy(name_img,saveDir_img)fp.close()

参考资料:

https://www.cnblogs.com/tyty-Somnuspoppy/p/10250486.html
https://download.csdn.net/download/u014513323/10823680

这篇关于voc数据集的充分利用——将图片和xml按类别保存在不同文件夹、将目标剪裁后按类别保存在不同文件夹的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1057065

相关文章

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

python删除xml中的w:ascii属性的步骤

《python删除xml中的w:ascii属性的步骤》使用xml.etree.ElementTree删除WordXML中w:ascii属性,需注册命名空间并定位rFonts元素,通过del操作删除属... 可以使用python的XML.etree.ElementTree模块通过以下步骤删除XML中的w:as

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左

XML重复查询一条Sql语句的解决方法

《XML重复查询一条Sql语句的解决方法》文章分析了XML重复查询与日志失效问题,指出因DTO缺少@Data注解导致日志无法格式化、空指针风险及参数穿透,进而引发性能灾难,解决方案为在Controll... 目录一、核心问题:从SQL重复执行到日志失效二、根因剖析:DTO断裂引发的级联故障三、解决方案:修复

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片

利用Python脚本实现批量将图片转换为WebP格式

《利用Python脚本实现批量将图片转换为WebP格式》Python语言的简洁语法和库支持使其成为图像处理的理想选择,本文将介绍如何利用Python实现批量将图片转换为WebP格式的脚本,WebP作为... 目录简介1. python在图像处理中的应用2. WebP格式的原理和优势2.1 WebP格式与传统

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模

浅析如何保证MySQL与Redis数据一致性

《浅析如何保证MySQL与Redis数据一致性》在互联网应用中,MySQL作为持久化存储引擎,Redis作为高性能缓存层,两者的组合能有效提升系统性能,下面我们来看看如何保证两者的数据一致性吧... 目录一、数据不一致性的根源1.1 典型不一致场景1.2 关键矛盾点二、一致性保障策略2.1 基础策略:更新数