首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
srilm专题
srilm的使用,参考别处,此为记录,方便日后查询
使用: 由于计算机内存的限制,将处理的文件分为小文件和大文件两种: 小文件: 词频统计: ngram-count -text train.txt -order 3 -write train.count 模型训练: ngram-count -read train.txt.count -order 3 -lm train.lm -interpolate -kndiscount -r
阅读更多...
win8 64bit下srilm+cygwin实现ngram语言模型
ngram语言模型+win8 64bit下安装srilm+cygwin实现 最近导师给了个新项目关于信息抽取(给了三篇论文,实验室混一年,动手能力没怎么提高但是看论文倒是飞快),会用到语言模型,虽然自己本身NLP出身但是实现论文的方法会涉及很多工程性问题。 论文需要实现ngram中的Good Turing平滑和回退模型的Katz Backoff平滑(怪自己研一的主修课没认真实践,扫了一遍研一课
阅读更多...
win8 64bit下srilm+cygwin实现ngram语言模型
ngram语言模型+win8 64bit下安装srilm+cygwin实现 最近导师给了个新项目关于信息抽取(给了三篇论文,实验室混一年,动手能力没怎么提高但是看论文倒是飞快),会用到语言模型,虽然自己本身NLP出身但是实现论文的方法会涉及很多工程性问题。 论文需要实现ngram中的Good Turing平滑和回退模型的Katz Backoff平滑(怪自己研一的主修课没认真实践,扫了一遍研一课
阅读更多...