2021年山东大学软件学院暑期实训——骨刻文字数字化识别开发与学习笔记2

本文主要是介绍2021年山东大学软件学院暑期实训——骨刻文字数字化识别开发与学习笔记2,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近期工作

  • 工作说明
  • 抽取甲骨文字库数据
    • 1、收集甲骨文-汉字比对大全表
    • 2、对甲骨文图片进行提取
    • 3、对甲骨文对应汉字进行提取
    • 4、对图片和汉字做对应
  • 抽取小篆字库数据
    • 1、获取简体字常用字库
    • 2、根据字库对网站进行爬取
      • 3、小篆字体收集结果

工作说明

目前的工作是为了建立甲骨文-汉字比对库,以及小篆-汉字比对库,故很自然就是要收集较为完整且干净的甲骨文、小篆数据。
针对甲骨文文字以及小篆文字的

抽取甲骨文字库数据

1、收集甲骨文-汉字比对大全表

下图为甲骨文对照表,共有1602个甲骨文图像以及对应的现代简体中文。且文件为pdf格式,目标是对里面甲骨文图片进行分割。
在这里插入图片描述

2、对甲骨文图片进行提取

这里主要用到的工具为python的fitz库,这个库可以通过正则表达式对pdf文件里面的图片元素进行提取。
关键代码为:

def transform(s_path, d_path):# 使用正则表达式来查找图片checkXO = r"/Type(?= */XObject)"checkIM = r"/Subtype(?= */Image)"# 打开pdfpdf_doc = fitz.open(s_path)# 图片计数imgcount = 0lenXREF = pdf_doc.xref_length()# 遍历每一个对象for i in range(1, lenXREF):# 定义对象字符串xref_text = pdf_doc.xref_object(i)isXObject = re.search(checkXO, xref_text)# 使用正则表达式查看是否是图片isImage = re.search(checkIM, text)# 如果不是对象也不是图片,则continueif not is XObject or not isImage:continueimgcount += 1# 根据索引生成图像pix = fitz.Pixmap(doc, i)

3、对甲骨文对应汉字进行提取

这里主要用到的工具为python的pdfplumber库,这个库可以通过正则表达式对pdf文件里面的图片元素进行提取。

import pdfplumbertotal_charactor_list =[]
# 利用pdfplumber多个提取表格
with pdfplumber.open('duizhaobiao.pdf') as pdf:#对每一页的pdf进行文字提取for page in pdf.pages:for table in page.extract_tables():#所提取出来的字符可能是简体字,可能是None、空字符、英文字符for character_list in table:for character in character_list:if character ==None or character=="":passelse:#判断是不是简体字if ord(character) not in range(65,90+1):total_charactor_list.append(character)

4、对图片和汉字做对应

由于暂时没有定好甲骨文图片的编号,故不能单独给图片以汉字命名(会出现重名)。对图片进行编号需要小篆字库确定再进行。
如图,文件夹中图片的顺序是与txt文件中的顺序对应的。
在这里插入图片描述
下一步准备将数据入库。

抽取小篆字库数据

由于网上所能收集到的小篆-简体字对照表比较难找,但是有提供根据汉字查找的功能,故选择下面古文字字源网站进行爬取。

1、获取简体字常用字库

简体字的常用字库大约有七千字左右,但不是每个现代汉字都有对应的小篆字体。

2、根据字库对网站进行爬取

这一步使用selenium对小篆数据进行截图,主要用到Python的PIL库和selenium库。
关键步骤在于①模拟浏览器操作,对某汉字进行搜索;②若存在对应小篆字体则进行截图。

        #模拟浏览器进行操作etymologySearchChar =driver.find_element_by_id("etymologySearchChar")etymologySearchChar.clear()#对某个字进行输入etymologySearchChar.send_keys(line[0])etymologySearchButton=driver.find_element_by_id("etymologySearchButton")etymologySearchButton.click()time.sleep(5)#找寻含有小篆字体的元素background_image =driver.find_elements_by_xpath('//div[@data-target="#etymologyModal"]')            for i in range(len(background_image)):time.sleep(0.1)#确定存储路径image =background_image[i]final_path =path+"\\"+image.text+'.png'#确定图片两个角的坐标left = image.location['x']+5top = image.location['y']right = image.location['x'] + image.size['width']-2bottom = image.location['y'] + image.size['height']-2driver.save_screenshot(final_path)#对图片进行截图photo = Image.open(final_path)photo = photo.crop((left, top, right, bottom))#存储截图photo.save(final_path)

3、小篆字体收集结果

可以看见有的文件夹是空的,证明该汉字并没有对应的小篆字体。等待下一步进行归类并放入数据库。
在这里插入图片描述

这篇关于2021年山东大学软件学院暑期实训——骨刻文字数字化识别开发与学习笔记2的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/638867

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

OpenHarmony鸿蒙开发( Beta5.0)无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息,即可快速实现设备配网,是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递,利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力,实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后,即可发送相关配网数据。同时还支持与常规Sof

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

活用c4d官方开发文档查询代码

当你问AI助手比如豆包,如何用python禁止掉xpresso标签时候,它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来