NLP 开源形近字算法补完计划（完结篇）

2023-10-22 04:58
文章标签 算法 开源 计划 nlp 完结篇 补完 形近

本文主要是介绍NLP 开源形近字算法补完计划（完结篇），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

所有的故事都有开始，也终将结束。

本文将作为 NLP 汉字相似度的完结篇，为该系列画上一个句号。

起-NLP 中文形近字相似度计算思路

承-中文形近字相似度算法实现，为汉字 NLP 尽一点绵薄之力

转-当代中国最贵的汉字是什么？

不足之处

之所以有本篇，是因为上一次的算法实现存在一些不足。

巴别塔

《圣经》中有关于巴别塔建造，最终人们因为语言问题而停工的故事​。

巴别塔

创11:6　“看哪！他们成为一样的人民，都是一样的言语，如今既作起这事来，以后他们所要作的事，就没有不成就的了。创11:7　我们下去，在那里变乱他们的口音，使他们的言语彼此不通。”创11:8　于是，耶和华使他们从那里分散在全地上；他们就停工不造那城了。

为了避免语言问题，我一开始就实现了一个 exe4j 打包的对比程序，自己跑的很顺畅。

小伙伴一跑，运行失败。各种环境配置一顿操作，最后还是报错。

于是，我写了一个 python 简易版本，便于做 NLP 研究的小伙伴们学习。

https://github.com/houbb/nlp-hanzi-similar/releases/tag/pythn

java 是一种语言，python 是一种语言。

编程语言，让人和机器之间可以沟通，却让人与人之间产生了隔阂。

拆字

在 当代中国最贵的汉字是什么？ 一文中，我们首次说明了汉字的拆合。

汉字的拆分实现，核心目的之一就是为了完善汉字的相似度比较。

通过对比汉字的拆分部分，然后获取拆字的相似度，提高对比的准确性。

拆字相似度

简单的需求

为了便于小伙伴们理解，我们用产品经理的思维和大家介绍一下实现方式。

我的需求比较简单。你看，【明】可以拆分【日】【月】，【冐】也可以拆分为【日】【月】。对比一下，结果是显然的。怎么实现我不管，明天上线吧。

小伙伴们，应该已经知道怎么实现了吧？

简单

使用体验

诚如产品所言，这个需求已经实现。

maven 引入

<dependency><groupId>com.github.houbb</groupId><artifactId>nlp-hanzi-similar</artifactId><version>1.2.0</version>
</dependency>

使用

double rate1 = HanziSimilarHelper.similar('末', '未');

对应的结果为：0.9696969696969697

更多使用细节，参考开源地址：

https://github.com/houbb/nlp-hanzi-similar

写在完结前

涉及的项目

汉字的相似度计算到这里算是告一段落。

主要涉及的资料及项目有：

拼音

拆字

四角编码词库

汉字结构词库

汉字偏旁词库

笔画数词库

当然，还可以结果 opencc4j 进行繁简体的处理，此处不再延伸。

之后的计划

NLP 的领域还有很多东西需要大家攻克，毕竟中文 NLP 才刚刚开始。

技术尚未成功，同志仍需努力。

据说最近鹅城的某位黄老爷惹得大家怨声载道。

很多小伙伴说，如果有一款软件可以实现【月丷夫马言卂彳山兀攴人言】的沟通功能，那么我肯定会用。

所谓说者无心，听者有意。

写一个通讯软件，主要是为了巩固下 netty 的学习，其他的都不重要。

没有你，对我很重要

虽然知道就算有，大家肯定也不太会改变，但是老马还是准备试试。

java 实现思路

警告，如果你头发已经所剩无几，或者对实现并不感兴趣。

那么就可以收藏+点赞+评论【不明觉厉】，然后离开了。

下面是枯燥的代码实现环节。

轻松

程序员的思维

下面是程序员的思维。

首先要解决几个问题：

（1）汉字的拆分实现

这个直接复用已经实现的汉字拆分实现。

List<String> stringList = ChaiziHelper.chai(charWord.charAt(0));

相同的一个汉字可以有多种拆分方式，简单起见，我们默认取第一个。

（2）相似的比较

假设我们对比 A B 两个汉字，可以拆分为如下的子集。

A = {A1, A2, …, Am}

B = {B1, B2, …, Bm}

/*** 获取拆分后对应的拆分字符* @param charWord 字符* @return 结果*/
private char[] getSplitChars(String charWord) {List<String> stringList = ChaiziHelper.chai(charWord.charAt(0));// 这里应该选择哪一个是有讲究的。此处为了简单，默认选择第一个。String string = stringList.get(0);return string.toCharArray();
}

拆分后的子集对比有多种实现方式，简单起见，我们直接遍历元素，判断另一个子集是否存在。

当然，遍历的时候要以拆分数量较少的的为基准。

int minLen = Math.min(charsOne.length, charsTwo.length);// 比较
double totalScore = 0.0;
for(int i = 0; i <  minLen; i++) {char iChar = charsOne[i];String textChar = iChar+"";if(ArrayPrimitiveUtil.contains(charsTwo, iChar)) {//累加分数}
}

（3）拆分子集的权重

比如 一 月 两个汉字都是子集，但是因为笔画数不同，权重也不同。

我们用一个子集的笔画数占整体汉字的笔画数计算权重。

 int textNumber = getNumber(textChar, similarContext);double scoreOne = textNumber*1.0 / numberOne * 1.0;
double scoreTwo = textNumber*1.0 / numberTwo * 1.0;totalScore += (scoreOne + scoreTwo) / 2.0;

ps: 这里的除以 2,是为了归一化。保证最后的结果在 0-1 之间。

（4）笔画数

获取笔画数的方式，我们可以直接复用以前的方法。

如果没有匹配的，默认笔画数为 1。

private int getNumber(String text, IHanziSimilarContext similarContext) {Map<String, Integer> map = similarContext.bihuashuData().dataMap();Integer number = map.get(text);if(number == null) {return 1;}return number;
}

java 完整实现

我们把所有的碎片拼接起来，就得到一个完整的实现。

/*** 拆字** @author 老马啸西风* @since 1.0.0*/
public class ChaiziSimilar implements IHanziSimilar {@Overridepublic double similar(IHanziSimilarContext similarContext) {String hanziOne = similarContext.charOne();String hanziTwo = similarContext.charTwo();int numberOne = getNumber(hanziOne, similarContext);int numberTwo = getNumber(hanziTwo, similarContext);// 拆分char[] charsOne = getSplitChars(hanziOne);char[] charsTwo = getSplitChars(hanziTwo);int minLen = Math.min(charsOne.length, charsTwo.length);// 比较double totalScore = 0.0;for(int i = 0; i <  minLen; i++) {char iChar = charsOne[i];String textChar = iChar+"";if(ArrayPrimitiveUtil.contains(charsTwo, iChar)) {int textNumber = getNumber(textChar, similarContext);double scoreOne = textNumber*1.0 / numberOne * 1.0;double scoreTwo = textNumber*1.0 / numberTwo * 1.0;totalScore += (scoreOne + scoreTwo) / 2.0;}}return totalScore * similarContext.chaiziRate();}/*** 获取拆分后对应的拆分字符* @param charWord 字符* @return 结果*/private char[] getSplitChars(String charWord) {List<String> stringList = ChaiziHelper.chai(charWord.charAt(0));// 这里应该选择哪一个是有讲究的。此处为了简单，默认选择第一个。String string = stringList.get(0);return string.toCharArray();}/*** 获取笔画数* @param text 文本* @param similarContext 上下文* @return 结果*/private int getNumber(String text, IHanziSimilarContext similarContext) {Map<String, Integer> map = similarContext.bihuashuData().dataMap();Integer number = map.get(text);if(number == null) {return 1;}return number;}}

小结

本文引入了汉字拆字，进一步丰富了相似度的实现。

当然，实现本身依然有很多值得提升的地方，比如拆分后的选择，是否可以递归拆分等，这个还是留给后人研究吧。

我是老马，期待与你的下次重逢。

在这里插入图片描述

这篇关于NLP 开源形近字算法补完计划（完结篇）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/259166。

相关文章

通俗易懂的Java常见限流算法具体实现

通俗易懂的Java常见限流算法具体实现

《通俗易懂的Java常见限流算法具体实现》：本文主要介绍Java常见限流算法具体实现的相关资料,包括漏桶算法、令牌桶算法、Nginx限流和Redis+Lua限流的实现原理和具体步骤,并比较了它们的... 目录一、漏桶算法1.漏桶算法的思想和原理2.具体实现二、令牌桶算法1.令牌桶算法流程:2.具体实现2.1
阅读更多...
Python中的随机森林算法与实战

Python中的随机森林算法与实战

《Python中的随机森林算法与实战》本文详细介绍了随机森林算法,包括其原理、实现步骤、分类和回归案例,并讨论了其优点和缺点,通过面向对象编程实现了一个简单的随机森林模型,并应用于鸢尾花分类和波士顿房... 目录1、随机森林算法概述2、随机森林的原理3、实现步骤4、分类案例：使用随机森林预测鸢尾花品种4.1
阅读更多...
Python实现NLP的完整流程介绍

Python实现NLP的完整流程介绍

《Python实现NLP的完整流程介绍》这篇文章主要为大家详细介绍了Python实现NLP的完整流程,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 编程安装和导入必要的库2. 文本数据准备3. 文本预处理3.1 小写化3.2 分词（Tokenizatio
阅读更多...
Oracle数据库执行计划的查看与分析技巧

Oracle数据库执行计划的查看与分析技巧

《Oracle数据库执行计划的查看与分析技巧》在Oracle数据库中,执行计划能够帮助我们深入了解SQL语句在数据库内部的执行细节,进而优化查询性能、提升系统效率,执行计划是Oracle数据库优化器为... 目录一、什么是执行计划二、查看执行计划的方法（一）使用 EXPLAIN PLAN 命令（二）通过 S
阅读更多...
不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
康拓展开（hash算法中会用到）

康拓展开（hash算法中会用到）

康拓展开是一个全排列到一个自然数的双射（也就是某个全排列与某个自然数一一对应） 公式： X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。（a[i]在不同应用中的含义不同）； 典型应用： 计算当前排列在所有由小到大全排列中的顺序，也就是说求当前排列是第
阅读更多...
csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

这是一道扩展欧几里得算法的简单应用题，这题是在湖南多校训练赛中队友ac的一道题，在比赛之后请教了队友，然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意：把题意转变下就变成了：求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点：求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
【数据结构】——原来排序算法搞懂这些就行，轻松拿捏

【数据结构】——原来排序算法搞懂这些就行，轻松拿捏

前言：快速排序的实现最重要的是找基准值，下面让我们来了解如何实现找基准值 基准值的注释：在快排的过程中，每一次我们要取一个元素作为枢纽值，以这个数字来将序列划分为两部分。 在此我们采用三数取中法，也就是取左端、中间、右端三个数，然后进行排序，将中间数作为枢纽值。 快速排序实现主框架： //快速排序 void QuickSort(int* arr, int left, int rig
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2