中文纠错实战

2024-05-07 14:38
文章标签 实战 中文 纠错

本文主要是介绍中文纠错实战,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

假设有这么一个场景,医生开处方的时候,可能写错药品和疾病名称,需要程序自动化纠错

例如:曲米新乳膏和二甲双瓜和双黄连

    曲米新乳膏 ==> 曲咪新乳膏

    二甲双瓜 ==> 二甲双胍

 

 

怎么做呢?

直觉告诉我们,应该有一个数据源,包含所有的药品疾病名称。

1、数据抓取  

    寻医问药 http://www.xywy.com/

    丁香园 http://www.dxy.cn/

    好大夫 http://www.haodf.com/yaopin/

 

涉及知识:

    网络爬虫

    http协议

    html

    正则

    网络代理

    字符编码

    python

 

开源的世界,感谢这个时代吧。

scrapy框架  https://scrapy.org/  看看demo,开始工作吧!

 

2、单词匹配

药品数据爬取下来后,有药品疾病的词典了。

那么怎么从一段文字中识别出哪些是药品名称呢?假设文本都是正确的,药品名称也是正确的。

 

涉及知识:

    前缀树匹配 

    https://en.wikipedia.org/wiki/Trie

    http://baike.baidu.com/link?url=9tTTwNRyFnYW4EiTfVMrT0hkX7O8TKc0HCrStmTkWfCsV3HEtFK0BA0tWov4ny206MUIvPnzwPpdxqVFgZlo4_

 

    以python语言举例吧,PyTrie

    https://pypi.python.org/pypi/PyTrie  看看demo https://wiki.python.org/moin/CheeseShopTutorial 

    e.g. sentence = “我有双黄连和曲米新乳膏"

    遍历所有包含最后1个字的字串

        我有双黄连和曲米新乳膏

        有双黄连和曲米新乳膏

        双黄连和曲米新乳膏

        ……

    用爬取的药品名称字典生成SortedStringTrie,对每个子串用最长前缀匹配(method:longest_prefix),

    可以得到 双黄连、曲米新乳膏这两个药品名称

 

3、纠错版本1.0

    好吧,做了好多前期准备工作,可以开始尝试纠错了。先看看错误的例子:

    e.g. sentence = “我有双黄联和曲米新乳膏"

    肉眼看过去  双黄联 ==> 双黄连  机器如何做呢?

    

    涉及知识:

        编辑距离(Levenshtein距离) http://baike.baidu.com/link?url=BlzWCygnY5DdHj453HLQOhVYWnFfQO96hbHgqPTpWPo4x3_n4J6n2g5MVfYPVP7fWzf2u4doEspxkgWJSeJWvkwbMFV1FElBoqlSbbCG06ZLVlZeqoYkX6ucEwkcwTfQ

 

    编辑距离就是求两个字符串的相似性

    天安门 和 天天门  distance=1

    天安门 和 天安      distance=1

    天安门 和 天安门  distance=0

    

    有了编辑距离,借助最长前缀匹配,设定距离阀值,例如4个字,允许1个字不一样,6个字允许两个字不一样。

    用前缀匹配,找到双黄连, 对应的词是双黄联, 好吧,编辑距离ok,替换吧

    双黄连 ==> 双黄连

    恭喜你,纠错成功,关上电脑,可以交差了。

    

    测试报bug了,怎么可能!!!

    e.g. 小儿柏步止咳

    纠错 小儿柏步止咳 ==> 小儿清热止咳

    小儿清热止咳和小儿百部止咳都是药品名称,按照规则,字典树找到第一个小儿清热止咳,符合编辑距离<=2。

    

    看来不能光按照字型去纠错,汉字的输入错误大部分来自同音字。

    找个汉字转拼音的工具

    pypinyin     https://pypi.python.org/pypi/pypinyin

    加上拼音的编辑距离吧,全拼和首字母的,嗯嗯 双重保险,例如必须首字母相同。

    小儿清热止咳 首字母  xeqrzk

    小儿百部止咳 首字母  xebbzk

    小儿柏步止咳  首字母  xebbzk

    纠错 小儿柏步止咳 ==>  小儿百部止咳

    

    测试还是有作用的,虽然报bug让我很不爽

    1.0版本勉强可以上线使用了,精度门槛设置会比较高,召回相对低。

    e.g. 青春都飞扬吧

    青春都 ==> 青春痘

4、纠错版本2.0

    只看相似距离,是很难去判断纠正后的句子的合理性,因为替换规则只是针对单个单词,丢掉了句子的剩余单词信息。比如,句子1:青春都飞扬吧  句子2:青春逗很多。 句子1应该不去纠错,而句子2应该纠错。

    涉及知识:

    语言模型 https://en.wikipedia.org/wiki/Language_model  本质是用统计学意义判断句子构成的合理性

    中文分词 句子分词的多少 作为判断句子合理性的一个参考因子

    ngram  http://blog.csdn.net/baimafujinji/article/details/51281816 

    语料库 从很大的文本语录中切分出unigram bigram. 这个可以从爬取药品的网站上去爬取用户咨询的问题,这些问题里面包含的药品疾病比较多,适合用作医疗领域的ngram。

    

    ngram切分用nltk(很有名的nlp python库, method:ngrams) http://www.nltk.org/

    

    假设提取出来了unigram,bigram,那么可以试试语言模型了

 

    加入语言模型,去计算 替换后的句子 正确概率,找到替换后句子正确概率最大的

    

5、优化方向

    精度和召回总是一对矛盾

    概率提升的阀值,可以控制纠错的精度,但是降低了召回

    如何调整阀值,是不断试错过程。

    

    概率是基于统计学意义的,所以badcase的出现不可避免。可以通过人工的数据介入,去干预单词替换

    相近字 加入,使得替换备选集合多一些,提升召回率

    

    想要同时提升精度和召回,就需要分析badcase,设定粒度更小的精度阀值,优化是个长时间的工作。

6、总结

    英文纠错(good demo:http://norvig.com/spell-correct.html)很多是字母拼写错误,中文纠错更多的是相近字,拼音等带来的字词错误。

    纠错步骤:

    1、正确词词典

    2、从输入句子中 找到替换候选词集合

    3、语言模型判断句子合理性

    4、选出替换后最合理的句子

 

    精度阀值的控制 需要不断尝试,词典单词很多,且面对的是非专业领域词汇,则同样阀值前提下,纠错的精度应该会有所下降。针对特点领域的纠错是可行的,纠错的方法另一个副产品是找出相近意思的词,例如 头疼=>头痛

这篇关于中文纠错实战的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/967634

相关文章

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

《MyBatis动态SQL优化之标签的实战与技巧(常见用法)》本文通过详细的示例和实际应用场景,介绍了如何有效利用这些标签来优化MyBatis配置,提升开发效率,确保SQL的高效执行和安全性,感... 目录动态SQL详解一、动态SQL的核心概念1.1 什么是动态SQL?1.2 动态SQL的优点1.3 动态S

Pandas使用SQLite3实战

《Pandas使用SQLite3实战》本文主要介绍了Pandas使用SQLite3实战,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1 环境准备2 从 SQLite3VlfrWQzgt 读取数据到 DataFrame基础用法:读

Python实战之屏幕录制功能的实现

《Python实战之屏幕录制功能的实现》屏幕录制,即屏幕捕获,是指将计算机屏幕上的活动记录下来,生成视频文件,本文主要为大家介绍了如何使用Python实现这一功能,希望对大家有所帮助... 目录屏幕录制原理图像捕获音频捕获编码压缩输出保存完整的屏幕录制工具高级功能实时预览增加水印多平台支持屏幕录制原理屏幕

最新Spring Security实战教程之Spring Security安全框架指南

《最新SpringSecurity实战教程之SpringSecurity安全框架指南》SpringSecurity是Spring生态系统中的核心组件,提供认证、授权和防护机制,以保护应用免受各种安... 目录前言什么是Spring Security?同类框架对比Spring Security典型应用场景传统

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

OpenManus本地部署实战亲测有效完全免费(最新推荐)

《OpenManus本地部署实战亲测有效完全免费(最新推荐)》文章介绍了如何在本地部署OpenManus大语言模型,包括环境搭建、LLM编程接口配置和测试步骤,本文给大家讲解的非常详细,感兴趣的朋友一... 目录1.概况2.环境搭建2.1安装miniconda或者anaconda2.2 LLM编程接口配置2

一文教你解决Python不支持中文路径的问题

《一文教你解决Python不支持中文路径的问题》Python是一种广泛使用的高级编程语言,然而在处理包含中文字符的文件路径时,Python有时会表现出一些不友好的行为,下面小编就来为大家介绍一下具体的... 目录问题背景解决方案1. 设置正确的文件编码2. 使用pathlib模块3. 转换路径为Unicod

基于Canvas的Html5多时区动态时钟实战代码

《基于Canvas的Html5多时区动态时钟实战代码》:本文主要介绍了如何使用Canvas在HTML5上实现一个多时区动态时钟的web展示,通过Canvas的API,可以绘制出6个不同城市的时钟,并且这些时钟可以动态转动,每个时钟上都会标注出对应的24小时制时间,详细内容请阅读本文,希望能对你有所帮助...

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav