复制链接 词嵌入向量(WordEmbedding)是NLP里面一个重要的概念，我们可以利用WordEmbedding将一个单词转换成固定长度的向量表示，从而便于进行数学处理。本文将介绍WordEmbedding的使用方式，并讲解如何通过神经网络生成WordEmbedding。 WordEmbedding的使用 使用数学模型处理文本语料的第一步就是把文本转换成数学表示，有两种方法，第一种方法可以

1. 文本预处理 1.1 分词器Tokenizer Tokenizer 是一个用于向量化文本的类，这是一个分词的过程。英文分词，考虑空格；中文分词就复杂点。 keras.preprocessing.text.Tokenizer(num_words=None,filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~\t\n',lower=True,split=" ",c