Wikipedia corpus英文语料处理，获得原文

本文主要是介绍Wikipedia corpus英文语料处理，获得原文，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

我们在预训练word vector或其他预训练任务时，需要大量的语料数据，Wikipedia开放了英文语料，大约11G：wiki英文语料下载链接

该语料库是.bz2格式，但是不能直接解压，需要使用工具处理，我们介绍两种常用的处理工具，gensim和wikiextractor。

Gensim

gensim提供了处理工具，但是只能够获得文章的词列表，丢失了段落句子以及标点符号。

from gensim.corpora import WikiCorpusa = 'enwiki-latest-pages-articles.xml.bz2'
wiki = WikiCorpus(a, lemmatize=False, dictionary={})for text in wiki.get_texts():for word in text:pass

Wikiextractor

想要获得原文，可以通过wikiextractor工具。

git clone https://github.com/attardi/wikiextractor
python wikiextractor/WikiExtractor.py INPUT_FILE -o OUTPUT_PATH --json

所有文章会

这篇关于Wikipedia corpus英文语料处理，获得原文的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---