本文主要是介绍Python NLP自然语言处理 nltk载入自己语料库的方法以及文本分词处理，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一、使用NLTK中的PlaintextCorpusReader 帮助下载入它们
PlaintextCorpusReader 初始化函数的第一个参数是你要加载的文件的路径，第二个参数可以是一个如['a.txt', 'test/b.txt']这样的 fileids链表，或者一个匹配所有fileids的模式 ，如：'[abc]\.txt'
假定你的文件在/usr/share/dict 目录下，匹配该路径下的'[abc]\.txt'文件
from nltk.corpus import PlaintextCorpusReader
corpus_root = '/usr/share/dict'#目标文件路径
wordlists = PlaintextCorpusReader(corpus_root, r'[abc]\.txt')#匹配加载想要的txt文件
wordlists.fileids()二、 BracketParseCorpusReader 更适合已解析过的语料库
from nltk.corpus import BracketParseCorpusReader
corpus_root =r"F:\nltk_data\corpora\SogouC.reduced.20061127\SogouC.reduced\Reduced" # r"" 防止转义
file_pattern = r".*/.*\.txt" #匹配corpus_root目录下的所有子目录下的txt文件
ptb = BracketParseCorpusReader(corpus_root, file_pattern) #初始化读取器：语料库目录和要加载文件的格式，默认utf8格式的编码
ptb.fileids() #至此，可以看到目录下的所有文件名，例如C000008/1001.txt，则成功了
ptb.raw(“C000008/1001.txt”) # 如果C000008/1001.txt编码格式和ptb格式一致，则看到内容把文本加载完了，你就可以查看文本的内容了，只有这样你才能接下来进行文本分词处理，这样比直接去读取文件内容来的更加方便，而且你也可以使用nltk里面带有的方法，这样效率更高，速度更快
参考原文链接：https://blog.csdn.net/shanyuelanhua/article/details/51212194
这篇关于Python NLP自然语言处理 nltk载入自己语料库的方法以及文本分词处理的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
