本文主要是介绍中文纠错实战,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
假设有这么一个场景,医生开处方的时候,可能写错药品和疾病名称,需要程序自动化纠错
例如:曲米新乳膏和二甲双瓜和双黄连
曲米新乳膏 ==> 曲咪新乳膏
二甲双瓜 ==> 二甲双胍
怎么做呢?
直觉告诉我们,应该有一个数据源,包含所有的药品疾病名称。
1、数据抓取
寻医问药 http://www.xywy.com/
丁香园 http://www.dxy.cn/
好大夫 http://www.haodf.com/yaopin/
涉及知识:
网络爬虫
http协议
html
正则
网络代理
字符编码
python
开源的世界,感谢这个时代吧。
scrapy框架 https://scrapy.org/ 看看demo,开始工作吧!
2、单词匹配
药品数据爬取下来后,有药品疾病的词典了。
那么怎么从一段文字中识别出哪些是药品名称呢?假设文本都是正确的,药品名称也是正确的。
涉及知识:
前缀树匹配
https://en.wikipedia.org/wiki/Trie
http://baike.baidu.com/link?url=9tTTwNRyFnYW4EiTfVMrT0hkX7O8TKc0HCrStmTkWfCsV3HEtFK0BA0tWov4ny206MUIvPnzwPpdxqVFgZlo4_
以python语言举例吧,PyTrie
https://pypi.python.org/pypi/PyTrie 看看demo https://wiki.python.org/moin/CheeseShopTutorial
e.g. sentence = “我有双黄连和曲米新乳膏"
遍历所有包含最后1个字的字串
我有双黄连和曲米新乳膏
有双黄连和曲米新乳膏
双黄连和曲米新乳膏
……
用爬取的药品名称字典生成SortedStringTrie,对每个子串用最长前缀匹配(method:longest_prefix),
可以得到 双黄连、曲米新乳膏这两个药品名称
3、纠错版本1.0
好吧,做了好多前期准备工作,可以开始尝试纠错了。先看看错误的例子:
e.g. sentence = “我有双黄联和曲米新乳膏"
肉眼看过去 双黄联 ==> 双黄连 机器如何做呢?
涉及知识:
编辑距离(Levenshtein距离) http://baike.baidu.com/link?url=BlzWCygnY5DdHj453HLQOhVYWnFfQO96hbHgqPTpWPo4x3_n4J6n2g5MVfYPVP7fWzf2u4doEspxkgWJSeJWvkwbMFV1FElBoqlSbbCG06ZLVlZeqoYkX6ucEwkcwTfQ
编辑距离就是求两个字符串的相似性
天安门 和 天天门 distance=1
天安门 和 天安 distance=1
天安门 和 天安门 distance=0
有了编辑距离,借助最长前缀匹配,设定距离阀值,例如4个字,允许1个字不一样,6个字允许两个字不一样。
用前缀匹配,找到双黄连, 对应的词是双黄联, 好吧,编辑距离ok,替换吧
双黄连 ==> 双黄连
恭喜你,纠错成功,关上电脑,可以交差了。
测试报bug了,怎么可能!!!
e.g. 小儿柏步止咳
纠错 小儿柏步止咳 ==> 小儿清热止咳
小儿清热止咳和小儿百部止咳都是药品名称,按照规则,字典树找到第一个小儿清热止咳,符合编辑距离<=2。
看来不能光按照字型去纠错,汉字的输入错误大部分来自同音字。
找个汉字转拼音的工具
pypinyin https://pypi.python.org/pypi/pypinyin
加上拼音的编辑距离吧,全拼和首字母的,嗯嗯 双重保险,例如必须首字母相同。
小儿清热止咳 首字母 xeqrzk
小儿百部止咳 首字母 xebbzk
小儿柏步止咳 首字母 xebbzk
纠错 小儿柏步止咳 ==> 小儿百部止咳
测试还是有作用的,虽然报bug让我很不爽
1.0版本勉强可以上线使用了,精度门槛设置会比较高,召回相对低。
e.g. 青春都飞扬吧
青春都 ==> 青春痘
4、纠错版本2.0
只看相似距离,是很难去判断纠正后的句子的合理性,因为替换规则只是针对单个单词,丢掉了句子的剩余单词信息。比如,句子1:青春都飞扬吧 句子2:青春逗很多。 句子1应该不去纠错,而句子2应该纠错。
涉及知识:
语言模型 https://en.wikipedia.org/wiki/Language_model 本质是用统计学意义判断句子构成的合理性
中文分词 句子分词的多少 作为判断句子合理性的一个参考因子
ngram http://blog.csdn.net/baimafujinji/article/details/51281816
语料库 从很大的文本语录中切分出unigram bigram. 这个可以从爬取药品的网站上去爬取用户咨询的问题,这些问题里面包含的药品疾病比较多,适合用作医疗领域的ngram。
ngram切分用nltk(很有名的nlp python库, method:ngrams) http://www.nltk.org/
假设提取出来了unigram,bigram,那么可以试试语言模型了
加入语言模型,去计算 替换后的句子 正确概率,找到替换后句子正确概率最大的
5、优化方向
精度和召回总是一对矛盾
概率提升的阀值,可以控制纠错的精度,但是降低了召回
如何调整阀值,是不断试错过程。
概率是基于统计学意义的,所以badcase的出现不可避免。可以通过人工的数据介入,去干预单词替换
相近字 加入,使得替换备选集合多一些,提升召回率
想要同时提升精度和召回,就需要分析badcase,设定粒度更小的精度阀值,优化是个长时间的工作。
6、总结
英文纠错(good demo:http://norvig.com/spell-correct.html)很多是字母拼写错误,中文纠错更多的是相近字,拼音等带来的字词错误。
纠错步骤:
1、正确词词典
2、从输入句子中 找到替换候选词集合
3、语言模型判断句子合理性
4、选出替换后最合理的句子
精度阀值的控制 需要不断尝试,词典单词很多,且面对的是非专业领域词汇,则同样阀值前提下,纠错的精度应该会有所下降。针对特点领域的纠错是可行的,纠错的方法另一个副产品是找出相近意思的词,例如 头疼=>头痛
这篇关于中文纠错实战的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!