在IRIS中联合运用OCR与NLP技术

2024-03-04 05:40
文章标签 技术 联合 ocr 运用 nlp iris

本文主要是介绍在IRIS中联合运用OCR与NLP技术,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

根据IDC的报道,超过80%的信息是基于NoSQL的,尤其是文本文件。当数字服务或应用程序不能处理所有这些信息时,企业就会遭受损失。为了面对这一挑战,可以使用OCR技术。OCR使用机器学习和/或训练的图像模式将图像像素转化为文本。这一点很重要,因为许多文件被扫描成PDF格式的图像,或者许多文件中包含有文本的图像。因此,OCR是一个重要的步骤,可以从文件中获得所有可能的数据。

为了实现OCR,可以使用开源解决方案Google Tesseract,这是Python和Java社区中最流行的解决方案。Tesseract支持100多个习语,并且可以用新的模型进行训练以识别车牌、验证码等等。Tesseract是在C++中创建的,可以通过Java套用Tess4J构成一个中介层来使用它。下面的代码展示了调用过程。

private String extractTextFromImage ( File tempFile )  throws TesseractException {
 
ITesseract tesseract =  new Tesseract ();
tesseract . setDatapath ( "/usr/share/tessdata/" );  //directory to trained models
tesseract . setLanguage ( "eng+por" );  // choose your language/trained model
 
return tesseract . doOCR (tempFile);  //call tesseract function doOCR() 
//passing the file to be processed with OCR technique
 
}

为了让IRIS使用这个Java类并从Java获得结果,我们需要使用PEX和Java网关解决方案。

首先,有必要在Production中配置Java代理,其次,配置一个PEX业务操作或服务来在Production中连接沟通IRIS和Java。

Class dc . ocr . OcrProduction Extends Ens .Production
{
 
XData ProductionDefinition
{
< Production Name = "dc.ocr.OcrProduction" LogGeneralTraceEvents = "false" >
< Description ></ Description >
< ActorPoolSize > 2 </ ActorPoolSize >
< Item Name = "OcrService" Category = "" ClassName = "dc.ocr.OcrService" PoolSize = "1" Enabled = "true"
Foreground = "false" Comment = "" LogTraceEvents = "false" Schedule = "" >
</ Item >
< Item Name = "JavaGateway" Category = "" ClassName = "EnsLib.JavaGateway.Service" PoolSize = "1"
Enabled = "true" Foreground = "false" Comment = "" LogTraceEvents = "false" Schedule = "" >
< Setting Target = "Host" Name = "ClassPath" > .:/usr/irissys/dev/java/lib/JDK18/*:/opt/irisapp/*
:/usr/irissys/dev/java/lib/gson/*
:/usr/irissys/dev/java/lib/jackson/*:/jgw/ocr-pex-1.0.0.jar
</ Setting >
< Setting Target = "Host" Name = "JavaHome" > /usr/lib/jvm/java-8-openjdk-amd64/ </ Setting >
</ Item >
< Item Name = "OcrOperation" Category = "" ClassName = "EnsLib.PEX.BusinessOperation" PoolSize = "1"
Enabled = "true" Foreground = "false" Comment = "" LogTraceEvents = "false" Schedule = "" >
< Setting Target = "Host" Name = "%gatewayPort" > 55555 </ Setting >
< Setting Target = "Host" Name = "%remoteClassname" > community.intersystems.pex.ocr.OcrOperation </ Setting >
< Setting Target = "Host" Name = "%gatewayExtraClasspaths" > .:/usr/irissys/dev/java/lib/JDK18/*
:/opt/irisapp/*:/usr/irissys/dev/java/lib/gson/*
:/usr/irissys/dev/java/lib/jackson/*
:/jgw/ocr-pex-1.0.0.jar
</ Setting >
</ Item >
</ Production >
}
 
}

现在,任何IRIS Production都可以与Java和Tesseract进行通信了! 如下:

//call ocr method to get text from image, if you want to use pex
Set pRequest =  ##class ( dc . ocr . OcrRequest ). %New ()
Set pRequest . FileName =  file . Filename
// call java pex operation to do ocr, passing file into pRequest and receive ocr text with pResponse
Set tSC = .. SendRequestSync ( "OcrOperation" ,  pRequest , . pResponse ,  1200 )
//save the results into database to use text analytics - nlp
Set ocrTable =  ##class ( dc . ocr . OcrTable ). %New ()
Set ocrTable . FileName =  file . Filename
Set ocrTable . OcrText =  pResponse . StringValue
Set tSC =  ocrTable . %Save ()

所有的代码细节,连同注释都可以在我的OCR服务库(https://openexchange.intersystems.com/package/OCR-Service)中找到。

现在,随着文本的提取,我们需要使用IRIS NLP引擎来分析文本数据,并获得支持决策的见解。为此,当文本被提取后,它被保存到一个表中,这个表被NLP引擎用作文本源。请看上面的表%Save(),请看下面的代码,NLP引用OCRTable(有文本提取的地方)。如下:

Class dc . ocr . OcrNLP Extends %iKnow .DomainDefinition [  ProcedureBlock ]
{
 
XData Domain [  XMLNamespace =  "http://www.intersystems.com/iknow" ]
{
< domain name = "OcrNLP" disabled = "false" allowCustomUpdates = "true" >
< parameter name = "DefaultConfig" value = "OcrNLP.Configuration" isList = "false" />
< data dropBeforeBuild = "true" >
< table listname = "OcrNLPTable" batchMode = "true" disabled = "false"
listerClass = "%iKnow.Source.SQL.Lister" tableName = "dc_ocr.OcrTable" idField = "ID"
groupField = "ID" dataFields = "OcrText" metadataColumns = "FileName" metadataFields = "filename" />
</ data >
< matching disabled = "false" dropBeforeBuild = "true" autoExecute = "true" ignoreDictionaryErrors = "true" />
< metadata >
< field name = "filename" operators = "=" dataType = "STRING" storage = "0" caseSensitive = "false" disabled = "false" />
</ metadata >
< configuration name = "OcrNLP.Configuration" detectLanguage = "true" languages = "en,pt"
userDictionary = "OcrNLP.Dictionary#1" summarize = "true" maxConceptLength = "0" />
< userDictionary name = "OcrNLP.Dictionary#1" />
</ domain >
}
 
}

在我的OCR服务github资源库中看到完整的细节和配置。

现在我们可以上传一些文件,到资源管理器中查看概念和生成的CRC。

请参阅动画与这里讨论的所有步骤。

欢迎尝试 OCR/NLP!

这篇关于在IRIS中联合运用OCR与NLP技术的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/772167

相关文章

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

金融业开源技术 术语

金融业开源技术  术语 1  范围 本文件界定了金融业开源技术的常用术语。 本文件适用于金融业中涉及开源技术的相关标准及规范性文件制定和信息沟通等活动。

poj 2431 poj 3253 优先队列的运用

poj 2431: 题意: 一条路起点为0, 终点为l。 卡车初始时在0点,并且有p升油,假设油箱无限大。 给n个加油站,每个加油站距离终点 l 距离为 x[i],可以加的油量为fuel[i]。 问最少加几次油可以到达终点,若不能到达,输出-1。 解析: 《挑战程序设计竞赛》: “在卡车开往终点的途中,只有在加油站才可以加油。但是,如果认为“在到达加油站i时,就获得了一

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出 在数字化时代,文本到语音(Text-to-Speech, TTS)技术已成为人机交互的关键桥梁,无论是为视障人士提供辅助阅读,还是为智能助手注入声音的灵魂,TTS 技术都扮演着至关重要的角色。从最初的拼接式方法到参数化技术,再到现今的深度学习解决方案,TTS 技术经历了一段长足的进步。这篇文章将带您穿越时

系统架构设计师: 信息安全技术

简简单单 Online zuozuo: 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo :本心、输入输出、结果 简简单单 Online zuozuo : 文章目录 系统架构设计师: 信息安全技术前言信息安全的基本要素:信息安全的范围:安全措施的目标:访问控制技术要素:访问控制包括:等保

Java 后端接口入参 - 联合前端VUE 使用AES完成入参出参加密解密

加密效果: 解密后的数据就是正常数据: 后端:使用的是spring-cloud框架,在gateway模块进行操作 <dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>30.0-jre</version></dependency> 编写一个AES加密

前端技术(七)——less 教程

一、less简介 1. less是什么? less是一种动态样式语言,属于css预处理器的范畴,它扩展了CSS语言,增加了变量、Mixin、函数等特性,使CSS 更易维护和扩展LESS 既可以在 客户端 上运行 ,也可以借助Node.js在服务端运行。 less的中文官网:https://lesscss.cn/ 2. less编译工具 koala 官网 http://koala-app.

Spring的设计⽬标——《Spring技术内幕》

读《Spring技术内幕》第二版,计文柯著。 如果我们要简要地描述Spring的设计⽬标,可以这么说,Spring为开发者提供的是⼀个⼀站式的轻量级应⽤开发框架(平台)。 作为平台,Spring抽象了我们在 许多应⽤开发中遇到的共性问题;同时,作为⼀个轻量级的应⽤开发框架,Spring和传统的J2EE开发相⽐,有其⾃⾝的特点。 通过这些⾃⾝的特点,Spring充分体现了它的设计理念:在

Spring Boot集成Tess4J实现OCR

1.什么是Tess4j? Tesseract是一个开源的光学字符识别(OCR)引擎,它可以将图像中的文字转换为计算机可读的文本。支持多种语言和书面语言,并且可以在命令行中执行。它是一个流行的开源OCR工具,可以在许多不同的操作系统上运行。Tess4J是一个基于Tesseract OCR引擎的Java接口,可以用来识别图像中的文本,说白了,就是封装了它的API,让Java可以直接调用。 Tess

java线程深度解析(六)——线程池技术

http://blog.csdn.net/Daybreak1209/article/details/51382604 一种最为简单的线程创建和回收的方法: [html]  view plain copy new Thread(new Runnable(){                @Override               public voi