Faster-RCNN/SSD/训练将数据集做成VOC2007格式

2024-06-11 04:32
文章标签 数据 训练 格式 faster 做成 ssd voc2007 rcnn

本文主要是介绍Faster-RCNN/SSD/训练将数据集做成VOC2007格式，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

reference:
http://blog.csdn.net/sinat_30071459/article/details/50723212


0.文件夹名

首先，确定你的数据集所放的文件夹名字，例如我的叫logos。

（或者和voc2007一样的名字：VOC2007）

1.图片命名

虽然说图片名对训练没什么影响，但建议还是按VOC2007那样，如“000005.jpg”这种形式。至于图片格式，代码里是写的jpg，其他格式行不行我没有试过，我的训练集也是jpg格式的。
批量修改图片名字为VOC2007格式可以参考以下Matlab代码：
[plain]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. %%  
  2. %图片保存路径为：  
  3. %E:\image\car  
  4. %E:\image\person  
  5. %car和person是保存车和行人的文件夹  
  6. %这些文件夹还可以有多个，  
  7. %放在image文件夹里就行  
  8. %该代码的作用是将图片名字改成000123.jpg这种形式  
  9. %%  
  10. clc;  
  11. clear;  
  12.   
  13. maindir='E:\image\';  
  14. name_long=5; %图片名字的长度，如000123.jpg为6,最多9位,可修改  
  15. num_begin=1; %图像命名开始的数字如000123.jpg开始的话就是123  
  16.   
  17. subdir = dir(maindir);  
  18. n=1;  
  19.   
  20. for i = 1:length(subdir)  
  21.   if ~strcmp(subdir(i).name ,'.') && ~strcmp(subdir(i).name,'..')  
  22.      subsubdir = dir(strcat(maindir,subdir(i).name));  
  23.     for j=1:length(subsubdir)  
  24.          if ~strcmp(subsubdir(j).name ,'.') && ~strcmp(subsubdir(j).name,'..')  
  25.             img=imread([maindir,subdir(i).name,'\',subsubdir(j).name]);  
  26.             imshow(img);  
  27.             str=num2str(num_begin,'%09d');  
  28.             newname=strcat(str,'.jpg');  
  29.             newname=newname(end-(name_long+3):end);  
  30.             system(['rename ' [maindir,subdir(i).name,'\',subsubdir(j).name] ' ' newname]);  
  31.             num_begin=num_begin+1;  
  32.             fprintf('当前处理文件夹%s',subdir(i).name);  
  33.             fprintf('已经处理%d张图片\n',n);  
  34.             n=n+1;  
  35.            pause(0.1);%可以将暂停去掉  
  36.          end  
  37.     end  
  38.   end  
  39. end  
图片名如果比较特殊或者像1(1).jpg等这类可能无法重命名，可以使用imwrite，如：

[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. imwrite(img,strcat(save_path,newname));%改名后保存到另一文件夹，原图片不变  
也可以使用Total Commander来批量重命名，非常方便，推荐使用这个工具。

2.打框

就是所谓的包围框，将图片的中所框的目标信息保存起来，我的是保存到txt里，如下：
[plain]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. 000002.jpg car 44 28 132 121  
  2. 000003.jpg car 54 19 243 178  
  3. 000004.jpg car 168 6 298 164  
前面是图片名，中间是目标类别，最后是目标的包围框坐标（左上角和右下角坐标）。

3.做xml

将第2步得到的txt转成xml。 如果每张图片有一个或多个包围框，可参考代码： VOC2007xml（这份代码生成的xml训练Matlab版本的FRCNN可能会出错，最好用下面修改过的）
这份代码生成的xml第一行含有版本和编码信息：<?xml version="1.0" encoding="utf-8"?>，并且含有空格，用来训练Faster RCNN可能会有问题，如下：

（左边是VOC2007数据集中的xml，右边是上面代码生成的xml（第一行我删掉了），用Notepad打开就可以看到）

VOC2007中的xml前面是tab字符（左边那些箭头），上面代码生成的xml是空格（那些小黄点），所以，必须将空格转换成tab，下载修改过的代码： VOC2007xml_new
（下载VOC2007xml_new就可以了，不用下载VOC2007xml，不过如果xml用作其他用途还是可以的）
最终，得到的xml就和VOC一样。

4.保存xml到Annotations

新建一个文件夹，名字为Annotations，将xml文件全部放到该文件夹里。

5.将训练图片放到JPEGImages

新建一个文件夹，名字为JPEGImages，将所有的训练图片放到该文件夹里。

6.ImageSets\Main里的四个txt文件

新建文件夹，命名为ImageSets，在ImageSets里再新建文件夹，命名为Main。
我们可以通过xml名字(或图片名)，生成四个txt文件，即：

txt文件中的内容为：
[plain]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. 000005  
  2. 000027  
  3. 000028  
  4. 000033  
  5. 000042  
  6. 000045  
  7. 000048  
  8. 000058  

即图片名字（无后缀）,test.txt是测试集，train.txt是训练集，val.txt是验证集，trainval.txt是训练和验证集.VOC2007中，trainval大概是整个数据集的50%，test也大概是整个数据集的50%；train大概是trainval的50%，val大概是trainval的50%。可参考以下代码：
[html]  view plain copy
在CODE上查看代码片 派生到我的代码片
  1. %%  
  2. %该代码根据已生成的xml，制作VOC2007数据集中的trainval.txt;train.txt;test.txt和val.txt  
  3. %trainval占总数据集的50%，test占总数据集的50%；train占trainval的50%，val占trainval的50%；  
  4. %上面所占百分比可根据自己的数据集修改，如果数据集比较少，test和val可少一些  
  5. %%  
  6. %注意修改下面四个值  
  7. xmlfilepath='E:\Annotations';  
  8. txtsavepath='E:\ImageSets\Main\';  
  9. trainval_percent=0.5;%trainval占整个数据集的百分比，剩下部分就是test所占百分比  
  10. train_percent=0.5;%train占trainval的百分比，剩下部分就是val所占百分比  
  11.   
  12.   
  13. %%  
  14. xmlfile=dir(xmlfilepath);  
  15. numOfxml=length(xmlfile)-2;%减去.和..  总的数据集大小  
  16.   
  17.   
  18. trainval=sort(randperm(numOfxml,floor(numOfxml*trainval_percent)));  
  19. test=sort(setdiff(1:numOfxml,trainval));  
  20.   
  21.   
  22. trainvalsize=length(trainval);%trainval的大小  
  23. train=sort(trainval(randperm(trainvalsize,floor(trainvalsize*train_percent))));  
  24. val=sort(setdiff(trainval,train));  
  25.   
  26.   
  27. ftrainval=fopen([txtsavepath 'trainval.txt'],'w');  
  28. ftest=fopen([txtsavepath 'test.txt'],'w');  
  29. ftrain=fopen([txtsavepath 'train.txt'],'w');  
  30. fval=fopen([txtsavepath 'val.txt'],'w');  
  31.   
  32.   
  33. for i=1:numOfxml  
  34.     if ismember(i,trainval)  
  35.         fprintf(ftrainval,'%s\n',xmlfile(i+2).name(1:end-4));  
  36.         if ismember(i,train)  
  37.             fprintf(ftrain,'%s\n',xmlfile(i+2).name(1:end-4));  
  38.         else  
  39.             fprintf(fval,'%s\n',xmlfile(i+2).name(1:end-4));  
  40.         end  
  41.     else  
  42.         fprintf(ftest,'%s\n',xmlfile(i+2).name(1:end-4));  
  43.     end  
  44. end  
  45. fclose(ftrainval);  
  46. fclose(ftrain);  
  47. fclose(fval);  
  48. fclose(ftest);  

这四个txt放在ImageSets\Main中。

这样，数据集就基本做好了。然后新建文件夹，名字为logos(第0步确定的名字),将上面三个文件夹放到这里，即logos文件夹里有三个文件夹：


将logos文件夹拷贝到datasets\VOCdevkit2007里就可以了。
（或者替换voc2007数据集中的Annotations、ImageSets和JPEGImages，免去一些训练的修改）

Matlab版本faster-rcnn训练过程看 http://blog.csdn.net/sinat_30071459/article/details/50546891；
python版本faster-rcnn训练过程看 http://blog.csdn.net/sinat_30071459/article/details/51332084。

这篇关于Faster-RCNN/SSD/训练将数据集做成VOC2007格式的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1050204。

相关文章

hevc和H.264格式的区别

hevc和H.264格式的区别

HEVC（High Efficiency Video Coding）和H.264（也称为Advanced Video Coding，AVC）都是视频压缩标准，但它们之间存在一些显著的区别，主要集中在压缩效率、资源需求和兼容性方面。 压缩效率 HEVC，也被称为H.265，提供了比H.264更高的压缩效率。这意味着在相同的视频质量下，HEVC能够以大约一半的比特率进行编码，从而减少存储空间需求和
阅读更多...
【服务器运维】MySQL数据存储至数据盘

【服务器运维】MySQL数据存储至数据盘

查看磁盘及分区 [root@MySQL tmp]# fdisk -lDisk /dev/sda: 21.5 GB, 21474836480 bytes255 heads, 63 sectors/track, 2610 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical)
阅读更多...
SQL Server中，查询数据库中有多少个表，以及数据库其余类型数据统计查询

SQL Server中，查询数据库中有多少个表，以及数据库其余类型数据统计查询

sqlserver查询数据库中有多少个表 sql server 数表:select count(1) from sysobjects where xtype='U'数视图:select count(1) from sysobjects where xtype='V'数存储过程select count(1) from sysobjects where xtype='P' SE
阅读更多...
YOLO v3 训练速度慢的问题

YOLO v3 训练速度慢的问题

一天一夜出了两个模型，仅仅迭代了200次   原因：编译之前没有将Makefile 文件里的GPU设置为1，编译的是CPU版本，必须训练慢   解决方案： make clean  vim Makefile make   再次训练 速度快了，5分钟迭代了500次
阅读更多...
数据时代的数字企业

数据时代的数字企业

1.写在前面 讨论数据治理在数字企业中的影响和必要性，并介绍数据治理的核心内容和实践方法。作者强调了数据质量、数据安全、数据隐私和数据合规等方面是数据治理的核心内容，并介绍了具体的实践措施和案例分析。企业需要重视这些方面以实现数字化转型和业务增长。 数字化转型行业小伙伴可以加入我的星球，初衷成为各位数字化转型参考库，星球内容每周更新 个人工作经验资料全部放在这里，包含数据治理、数据要
阅读更多...
如何在Java中处理JSON数据？

如何在Java中处理JSON数据？

如何在Java中处理JSON数据？ 大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天我们将探讨在Java中如何处理JSON数据。JSON（JavaScript Object Notation）作为一种轻量级的数据交换格式，在现代应用程序中被广泛使用。Java通过多种库和API提供了处理JSON的能力，我们将深入了解其用法和最佳
阅读更多...
将一维机械振动信号构造为训练集和测试集（Python）

将一维机械振动信号构造为训练集和测试集（Python）

从如下链接中下载轴承数据集。 https://www.sciencedirect.com/science/article/pii/S2352340918314124 import numpy as npimport scipy.io as sioimport matplotlib.pyplot as pltimport statistics as statsimport pandas
阅读更多...
两个基因相关性CPTAC蛋白组数据

两个基因相关性CPTAC蛋白组数据

目录 蛋白数据下载 ①蛋白数据下载 1，TCGA-选择泛癌数据  2，TCGA-TCPA 3，CPTAC(非TCGA) ②蛋白相关性分析 1，数据整理 2，蛋白相关性分析 PCAS在线分析 蛋白数据下载 CPTAC蛋白组学数据库介绍及数据下载分析 – 王进的个人网站 (jingege.wang) ①蛋白数据下载 可以下载泛癌蛋白数据：UCSC Xena (xena
阅读更多...
BD错误集锦8——在集成Spring MVC + MyBtis编写mapper文件时需要注意格式 You have an error in your SQL syntax

BD错误集锦8——在集成Spring MVC + MyBtis编写mapper文件时需要注意格式 You have an error in your SQL syntax

报错的文件 <?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE mapperPUBLIC "-//mybatis.org//DTD Mapper 3.0//EN""http://mybatis.org/dtd/mybatis-3-mapper.dtd"><mapper namespace="com.yuan.dao.YuanUserDao"><!
阅读更多...
中国341城市生态系统服务价值数据集（2000-2020年）

中国341城市生态系统服务价值数据集（2000-2020年）

生态系统服务反映了人类直接或者间接从自然生态系统中获得的各种惠益，对支撑和维持人类生存和福祉起着重要基础作用。目前针对全国城市尺度的生态系统服务价值的长期评估还相对较少。我们在Xie等（2017）的静态生态系统服务当量因子表基础上，选取净初级生产力，降水量，生物迁移阻力，土壤侵蚀度和道路密度五个变量，对生态系统供给服务、调节服务、支持服务和文化服务共4大类和11小类的当量因子进行了时空调整，计算了
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2