TextIn ParseX:助力开发者解析版面元素信息

2024-09-06 06:04

本文主要是介绍TextIn ParseX:助力开发者解析版面元素信息,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

TextIn ParseX通用文档解析是一款大模型友好的解析工具,支持将pdf文档、jpg、img图像等文件快速转换为markdown格式,支持各类表格、公式解析,帮助大语言模型的数据清洗和文档问答任务。

产品特点

  • 支持多种扫描内容:能良好处理各类图片与扫描文档,包括手机照片、截屏等内容。

  • 支持多种语言:支持简体中文/繁体中文/英文/数字/西欧主流语言/东欧主流语言等共 50+ 种语言。

  • 表格识别效果好:能准确识别各种格式的表格,包括有线表格、无线表格、密集表格,并支持各种类型的合并单元格识别与还原。

  • 阅读顺序还原准:能理解和还原文档的结构和元素排列,确保阅读顺序的准确性,支持多栏布局的论文、年报、业务报告等内容。

  • 自研文档树引擎:从语义出发,提取段落embedding值,预测标题层级关系,通过构造文档树提高检索召回效果。

为了让用户获得文档解析引擎返回的丰富版面元素,我们开发了一系列的sdk函数,包括目录树、公式、表格、图片、全文markdown等结果的获取函数。对于api用户来说,评估文档解析引擎的版面分析结果准确性是困难的,可视化的前端界面可以一定程度解决定性评估的问题,另外一些场景中,用户希望能够可视化文件解析的结果,并对结果进行编辑修正,获得更高精度的解析结果,这个时候前端可视化组件就是必不可少的了。为了满足这些需求,方便用户,我们将textin.com上面的前端可视化组件进行了开源,请用户批评指正。

1、SDK功能介绍

TextIn ParseX是一套标准的多平台支持的python sdk,帮助开发者解析pdf_to_markdownRestful API返回结果,获取对应的版面元素的数据结构。开发者只需在终端安装对应的依赖就可以使用。

为了方便用户获取版面元素,此次更新,调用接口增加了'page_details'参数,返回的json结果里面新增加了'pages'的字段。

pip install TextInParseX

如果报错timeout,可以尝试国内源:

pip3 install TextInParseX -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com

首先,你要在textin开通文档解析服务,然后可以在试用工作台点击用户图标,再点击账号与开发者信息(或者登陆后从textin首页->账户与充值->账号与开发者信息,或者点击https://www.textin.com/console/dashboard/setting中获得api_id和secret_code。

你可以通过ParseX直接调用url获取解析对象。

import TextInParseX as px# 初始化解析器
app_id = "#############################"     #填入你的textin的api_id和secret——code
secret_code = "#############################"parseX_client = px.ParseXClient(app_id, secret_code)pdf_file_path = "example.pdf" #你的本地文件路径#通过ParseX直接调用url获取解析对象
result = parseX_client.begin_analyze_document_from_url(pdf_file_path)

也可以参考textin.com的restful api调用,通过python,curl,或者postman工具获得api的原始json文件,再通过ParseX解析json文件获得解析对象。

import TextInParseX as px
import jsonjson_file = 'test_json/example.json'
with open(json_file, 'r') as fr:json_result = json.load(fr)parseX_client = px.ParseXClient()
result = parseX_client.begin_analyze_document_from_json(json_result)#或者直接输入json文件
result = parseX_client.begin_analyze_document_from_file(json_file)

如果你想要获得全文级别的结果,例如文档的markdown信息,所有文本、表格、段落、图片信息,可以如下处理:

print('Markdown:')
print(result.all_markdown)
print("\n")print("All text in document:")
#为可视化方便, 输出0-1000个字符
parseX_client.print_all_elements(result.all_text, 0, 1000)
print("\n")
print(f"Total tables in document: {len(result.all_tables)}")
for index, table in enumerate(result.all_tables):print(f"Table {index}:")parseX_client.print_all_elements(table)print("\n")print(f"Total paragraphs in document: {len(result.all_paragraphs)}")
for p_idx, each_paragraph in enumerate(result.all_paragraphs):print(f"\n--- Paragraph {p_idx}/{len(result.all_paragraphs)} ---")print(f"Paragraph position: {each_paragraph.pos}")for l_idx, each_line in enumerate(each_paragraph.lines):print(f"  Line {l_idx}/{len(each_paragraph.lines)}")print(f"    Line positions: {each_line.pos}")print(f"  Line text: {each_line.text}")print(f"Total images in document: {len(result.all_images)}")
for index, image in enumerate(result.all_images):print(f"Image {index}:")parseX_client.print_all_elements(image)print("\n")all_images_cv_mat = result.get_all_images_cv_mat()
print(f"Total images (as cv::Mat) in document: {len(all_images_cv_mat)}")
for idx, mat in enumerate(all_images_cv_mat):print(f"Image {idx} (cv::Mat) shape: {mat.shape}")

分别获取每页的表格信息、图片信息,段落纯文本信息,段落坐标,每行的信息:

#页的索引指向pdf和文档的页,按照页数的规则,从1开始; table等版面元素的索引默认程序读取的规则,从0开始
for page in result.pages:print(f"=== Page {page.page_id} ===")print("\n")for index, table in enumerate(page.tables):print(f"Table {index}:")parseX_client.print_all_elements(table)print("\n")for index, image in enumerate(page.images):print(f"Image {index}:")parseX_client.print_all_elements(image) print("\n")images_cv_mat = page.get_images_cv_mat()print(f"Total images (as cv::Mat) in page {page.page_id}: {len(images_cv_mat)}")for idx, mat in enumerate(images_cv_mat):print(f"Image {idx} (cv::Mat) shape: {mat.shape}")print("\n")print("Text:")# 限定只能打印前1000个字符parseX_client.print_all_elements(page.paragraph_text, 0, 1000)  print("\n")# 获取当前页的段落print(f"Total paragraphs: {len(page.paragraphs)}")for p_idx, each_paragraph in enumerate(page.paragraphs):print(f"\n--- Paragraph {p_idx}/{len(page.paragraphs)} ---")print(f"Paragraph position: {each_paragraph.pos}")for l_idx, each_line in enumerate(each_paragraph.lines):print(f"  Line {l_idx}/{len(each_paragraph.lines)}")print(f"    Line positions: {each_line.pos}")print(f"  Line text: {each_line.text}")print('Finished getting paragraphs')print("\n\n")

如果想获取每行的位置和文本,可以如下处理:

 
    # 获取当前页的段落print(f"Total paragraphs: {len(page.paragraphs)}")for p_idx, each_paragraph in enumerate(page.paragraphs):print(f"\n--- Paragraph {p_idx}/{len(page.paragraphs)} ---")print(f"Paragraph position: {each_paragraph.pos}")for l_idx, each_line in enumerate(each_paragraph.lines):print(f"  Line {l_idx}/{len(each_paragraph.lines)}")print(f"    Line positions: {each_line.pos}")print(f"  Line text: {each_line.text}")print('Finished getting paragraphs')print("\n\n")

2、前端组件功能介绍

在解析结果审核校对、效果测评等场景下,需要可视化展示文档解析后的结果。

在 TextIn.com 体验页上,我们提供丰富的可视化和交互功能,这部分前端组件现已开源!

项目用ES6开发,基于React框架。仓库地址:https://github.com/intsig-textin/parsex-frontend

目前前端组件已实现以下特性:

  1. 预览渲染主流图片格式和pdf文件,提供缩放和旋转功能

  2. markdown结果渲染,支持各级标题、图片、公式渲染展示

  3. 各类解析元素提取展示,支持查看表格、公式、图片,和原始 JSON 结果

  4. 解析元素文档位置溯源,原文画框标注各元素位置,可以点击画框跳转解析结果,也可以点击解析结果跳转原文画框

  5. 各级目录树还原展示,支持点击跳转相应章节

  6. 接口调用选项参数配置,支持配置不同参数组合,获取相应解析结果

  7. 复制和导出markdown文件

  8. 复制解析后的表格和图片,可以直接粘贴到Excel表格中

以上功能,都可以在 TextIn.com 上体验使用,地址: TextInTextInicon-default.png?t=N7T8https://www.textin.com/console/recognition/robot_markdown?service=pdf_to_markdown

后续我们将开放更多的sdk函数,例如让用户获取所有的手写元素,复选框元素,也欢迎各位用户朋友给我们提更多的类似需求。

在一些国家标准、专利、扫描书的场景,用户还需要将文件解析后的结果进行校对,为了满足这样的需求,后续我们会在前端组件里面导入编辑的功能,并增加电子档pdf格式的导出功能。

Copy以下链接,即刻使用:

SDK:https://github.com/intsig-textin/parsex-sdk

前端组件:https://github.com/intsig-textin/parsex-frontend

文档解析的测评工具:https://github.com/intsig-textin/markdown_tester

文本向量化模型:https://huggingface.co/aspire/acge_text_embedding

欢迎随时与我们技术团队小伙伴探讨你的场景需求!

这篇关于TextIn ParseX:助力开发者解析版面元素信息的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1141204

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

C++从序列容器中删除元素的四种方法

《C++从序列容器中删除元素的四种方法》删除元素的方法在序列容器和关联容器之间是非常不同的,在序列容器中,vector和string是最常用的,但这里也会介绍deque和list以供全面了解,尽管在一... 目录一、简介二、移除给定位置的元素三、移除与某个值相等的元素3.1、序列容器vector、deque

C++常见容器获取头元素的方法大全

《C++常见容器获取头元素的方法大全》在C++编程中,容器是存储和管理数据集合的重要工具,不同的容器提供了不同的接口来访问和操作其中的元素,获取容器的头元素(即第一个元素)是常见的操作之一,本文将详细... 目录一、std::vector二、std::list三、std::deque四、std::forwa

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

Spring MVC使用视图解析的问题解读

《SpringMVC使用视图解析的问题解读》:本文主要介绍SpringMVC使用视图解析的问题解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC使用视图解析1. 会使用视图解析的情况2. 不会使用视图解析的情况总结Spring MVC使用视图

一文详解SQL Server如何跟踪自动统计信息更新

《一文详解SQLServer如何跟踪自动统计信息更新》SQLServer数据库中,我们都清楚统计信息对于优化器来说非常重要,所以本文就来和大家简单聊一聊SQLServer如何跟踪自动统计信息更新吧... SQL Server数据库中,我们都清楚统计信息对于优化器来说非常重要。一般情况下,我们会开启"自动更新

利用Python和C++解析gltf文件的示例详解

《利用Python和C++解析gltf文件的示例详解》gltf,全称是GLTransmissionFormat,是一种开放的3D文件格式,Python和C++是两个非常强大的工具,下面我们就来看看如何... 目录什么是gltf文件选择语言的原因安装必要的库解析gltf文件的步骤1. 读取gltf文件2. 提

Python如何获取域名的SSL证书信息和到期时间

《Python如何获取域名的SSL证书信息和到期时间》在当今互联网时代,SSL证书的重要性不言而喻,它不仅为用户提供了安全的连接,还能提高网站的搜索引擎排名,那我们怎么才能通过Python获取域名的S... 目录了解SSL证书的基本概念使用python库来抓取SSL证书信息安装必要的库编写获取SSL证书信息

Java中的runnable 和 callable 区别解析

《Java中的runnable和callable区别解析》Runnable接口用于定义不需要返回结果的任务,而Callable接口可以返回结果并抛出异常,通常与Future结合使用,Runnab... 目录1. Runnable接口1.1 Runnable的定义1.2 Runnable的特点1.3 使用Ru