本文主要是介绍唐|01python数据分析与机器学习|26使用Gensim库构造中文维基百科数据词向量模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
gensim的使用
from gensim.models import word2vec #掉包
sentences = [s.split() for s in raw_sentences] #分词
model = word2vec.Word2Vec(sentences,min_count=1) #引包
min_count=1:
在不同大小的语料集中,我们对于基准词频的需求也是不一样的。比如在较大的语料集中,希望忽略只出现过一两次的单词,可以通过设置min_count参数进行控制。一般而言,合理的参数值会设置在0-100之间。
Size:
size参数用来设置神经网络的层数,Word2Vec中默认值是设置为100层,更大的层数意味着更多的输入数据,不过也能提升整体的准确度,合理的范围为10—数百
中文数据源–维基百科
.xml-text(process提取)
①繁体-简体(opencc)
②分词(jieba)
③建模(word2vec)
④测试模型(找出和已经知道词相近的词)
这篇关于唐|01python数据分析与机器学习|26使用Gensim库构造中文维基百科数据词向量模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!