两种不同风格的lxml标注文件的解析:pet和Lara_UrbanSeq1_Traffic Light

2024-02-12 04:32

本文主要是介绍两种不同风格的lxml标注文件的解析:pet和Lara_UrbanSeq1_Traffic Light,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. pet数据集标注样式

以Abyssinian_12.xml为例,文件内容如下:

<annotation><folder>OXIIIT</folder><filename>Abyssinian_12.jpg</filename><source><database>OXFORD-IIIT Pet Dataset</database><annotation>OXIIIT</annotation><image>flickr</image></source><size><width>335</width><height>500</height><depth>3</depth></size><segmented>0</segmented><object><name>cat</name><pose>Frontal</pose><truncated>0</truncated><occluded>0</occluded><bndbox><xmin>94</xmin><ymin>83</ymin><xmax>211</xmax><ymax>190</ymax></bndbox><difficult>0</difficult></object>
</annotation>

分析可知,其节点全部为tag:text形式,每个tag不包含attrib。因此,参照Object Detection API官方,采用以下方式来进行递归读取,返回一个包含多层级字典结构的数据。

import numpy as np
import PIL.Image
import tensorflow as tf
from lxml import etreefrom object_detection.dataset_tools import tf_record_creation_util
from object_detection.utils import dataset_util
from object_detection.utils import label_map_utilxml_path = "./Annotations/Abyssinian_12.xml"
# xml_path = "./Annotations/Lara_test.xml"with tf.gfile.GFile(xml_path, 'r') as fid:xml_str = fid.read()xml = etree.fromstring(xml_str)
#     xml = etree.fromstring(xml_str.encode('utf-8'))data = dataset_util.recursive_parse_xml_to_dict(xml)['annotation']
#     data = dataset_util.recursive_parse_xml_to_dict(xml)print(data)
#     for item in data:
#         print(type(item))

其中调用的函数recursive_parse_xml_to_dict(xml)如下:

def recursive_parse_xml_to_dict(xml):"""Recursively parses XML contents to python dict.We assume that `object` tags are the only ones that can appearmultiple times at the same level of a tree.Args:xml: xml tree obtained by parsing XML file contents using lxml.etreeReturns:Python dictionary holding XML contents."""if not xml:return {xml.tag: xml.text}result = {}for child in xml:child_result = recursive_parse_xml_to_dict(child)if child.tag != 'object':result[child.tag] = child_result[child.tag]else:if child.tag not in result:result[child.tag] = []result[child.tag].append(child_result[child.tag])return {xml.tag: result}

2. Lara标注样式

Lara交通标志数据集的标注文件将所有的图片文件信息整合在一个文件中,截取一段如下:

<?xml version="1.0" encoding="UTF-8"?>
<dataset name="Lara_UrbanSeq1" version="0.5" comments="Public database: http://www.lara.prd.fr/benchmarks/trafficlightsrecognition"><frame number="6695" sec="487" ms="829"><objectlist><object id="18"><orientation>90</orientation><box h="39" w="18" xc="294" yc="34"/><appearance>appear</appearance><hypothesislist><hypothesis evaluation="1.0" id="1" prev="1.0"><type evaluation="1.0">Traffic Light</type><subtype evaluation="1.0">go</subtype></hypothesis></hypothesislist></object><object id="19"><orientation>90</orientation><box h="15" w="6" xc="518" yc="123"/><appearance>appear</appearance><hypothesislist><hypothesis evaluation="1.0" id="1" prev="1.0"><type evaluation="1.0">Traffic Light</type><subtype evaluation="1.0">go</subtype></hypothesis></hypothesislist></object><object id="20"><orientation>90</orientation><box h="15" w="6" xc="382" yc="122"/><appearance>appear</appearance><hypothesislist><hypothesis evaluation="1.0" id="1" prev="1.0"><type evaluation="1.0">Traffic Light</type><subtype evaluation="1.0">go</subtype></hypothesis></hypothesislist></object></objectlist><grouplist></grouplist></frame>
</dataset>

可见其主要信息都包含在tag:attrib中,是难以用递归函数来实现解析的。
对该文件进行单独测试如下:

# 测试解析xml文件
# examples_path = os.path.join(annotations_dir, 'trainval.txt')
# examples_list = dataset_util.read_examples_list(examples_path)
# xml_path = "./Annotations/Lara_UrbanSeq1_GroundTruth_cvml.xml"
# tree = ET.parse(xml_path)
# root = tree.getroot()
# print(root.tag)
# print(root.attrib)
# print(root[11178].tag)
# print(root[11178].attrib)
# print(root[11178][0][0].tag)
# print(root[11178][0][0].attrib)
# for frame in root.findall("./frame")
# for obj in root[11178][0][0]:
#     print(obj.attrib)
#     print(obj.tag)

主要实现代码如下:

# 从xml文件解析出数据,以list形式返回。每个list的item都是包含相关信息的一个dict
def get_data_list(xml_path, label_map_dict):"""Function: parse xml to a list of image data, every item contain a dict of image name, size, and a list of objects.Args:xml_path: the path to the xml fileReturns:data_list: a list of data, every data is a dict contain keys.{   'filename': 'frame_006630.jpg', 'size':    {'width': 640, 'height': 480}, 'object':  [ {'bndbox': {'xmin': 368, 'xmax': 378, 'ymin': 94, 'ymax': 116}}, {'bndbox': {'xmin': 563, 'xmax': 571, 'ymin': 103, 'ymax': 123}}]}"""tree = ET.parse(xml_path)root = tree.getroot()data_list = []for frame in root.findall('./frame'):frame_number = int(frame.get("number"))img_name = "frame_{0:06d}.jpg".format(frame_number) # 得到第一个字段,文件名data = dict()data['filename']=img_nameimg_size = dict()img_size['width']=640img_size['height']=480data['size']=img_sizeobject_list=[]data['object']=object_listfor obj in frame.findall('./objectlist/object'): # 得到该帧里的每个objectobject = dict()# 这里待验证。暂时仍用读到的字符串,而没有转换为数字class_name = obj.find('./hypothesislist/hypothesis/subtype').text
#             classes_text.append(class_name.encode('utf-8'))
#             classes.append(label_map_dict[class_name])object['class_text'] = class_nameobject['class_id'] = label_map_dict[class_name]obj_h = int(obj.find('box').get("h"))    obj_w = int(obj.find('box').get("w"))obj_xc = int(obj.find('box').get("xc"))obj_yc = int(obj.find('box').get("yc"))xmin = obj_xc-int(obj_w//2)if xmin<0:xmin=0xmax = obj_xc+int(obj_w//2)ymin = obj_yc-int(obj_h//2)if ymin<0:ymin=0ymax = obj_yc+int(obj_h//2)bndbox = dict()            bndbox['xmin'] = xminbndbox['xmax'] = xmaxbndbox['ymin'] = yminbndbox['ymax'] = ymaxobject['bndbox'] = bndboxobject_list.append(object)data_list.append(data)return data_list

3. 主要对比

前者使用lxml.etree,后者使用xml.etree.ElementTree。解析过程不同。

这篇关于两种不同风格的lxml标注文件的解析:pet和Lara_UrbanSeq1_Traffic Light的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/701668

相关文章

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

java解析jwt中的payload的用法

《java解析jwt中的payload的用法》:本文主要介绍java解析jwt中的payload的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java解析jwt中的payload1. 使用 jjwt 库步骤 1:添加依赖步骤 2:解析 JWT2. 使用 N

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J

Java 正则表达式URL 匹配与源码全解析

《Java正则表达式URL匹配与源码全解析》在Web应用开发中,我们经常需要对URL进行格式验证,今天我们结合Java的Pattern和Matcher类,深入理解正则表达式在实际应用中... 目录1.正则表达式分解:2. 添加域名匹配 (2)3. 添加路径和查询参数匹配 (3) 4. 最终优化版本5.设计思

使用Java将DOCX文档解析为Markdown文档的代码实现

《使用Java将DOCX文档解析为Markdown文档的代码实现》在现代文档处理中,Markdown(MD)因其简洁的语法和良好的可读性,逐渐成为开发者、技术写作者和内容创作者的首选格式,然而,许多文... 目录引言1. 工具和库介绍2. 安装依赖库3. 使用Apache POI解析DOCX文档4. 将解析

Java字符串处理全解析(String、StringBuilder与StringBuffer)

《Java字符串处理全解析(String、StringBuilder与StringBuffer)》:本文主要介绍Java字符串处理全解析(String、StringBuilder与StringBu... 目录Java字符串处理全解析:String、StringBuilder与StringBuffer一、St

Spring Boot循环依赖原理、解决方案与最佳实践(全解析)

《SpringBoot循环依赖原理、解决方案与最佳实践(全解析)》循环依赖指两个或多个Bean相互直接或间接引用,形成闭环依赖关系,:本文主要介绍SpringBoot循环依赖原理、解决方案与最... 目录一、循环依赖的本质与危害1.1 什么是循环依赖?1.2 核心危害二、Spring的三级缓存机制2.1 三

C#中async await异步关键字用法和异步的底层原理全解析

《C#中asyncawait异步关键字用法和异步的底层原理全解析》:本文主要介绍C#中asyncawait异步关键字用法和异步的底层原理全解析,本文给大家介绍的非常详细,对大家的学习或工作具有一... 目录C#异步编程一、异步编程基础二、异步方法的工作原理三、代码示例四、编译后的底层实现五、总结C#异步编程

Android实现打开本地pdf文件的两种方式

《Android实现打开本地pdf文件的两种方式》在现代应用中,PDF格式因其跨平台、稳定性好、展示内容一致等特点,在Android平台上,如何高效地打开本地PDF文件,不仅关系到用户体验,也直接影响... 目录一、项目概述二、相关知识2.1 PDF文件基本概述2.2 android 文件访问与存储权限2.