工智能基础知识总结--词嵌入之GloVe

本文主要是介绍工智能基础知识总结--词嵌入之GloVe，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. 什么是GloVe

   GloVe（Global Vectors for Word Representation）是一个基于全局词频统计（count-based & overall statistics）的词表征（word representation）工具，它可以把一个单词表达成一个由实数组成的向量，这些向量捕捉到了单词之间一些语义特性，比如相似性（similarity）、类比性（analogy）等。我们通过对向量的运算，比如欧几里得距离或者cosine相似度，可以计算出两个单词之间的语义相似性。

2. GloVe实现步骤

   • 构建共现矩阵

     统计词与词在固定窗口大小内共同出现的次数并构建一个共现矩阵。例如有以下三句话：

     • I like deep learning.
     • I like NLP.
     • I enjoy flying

     当窗口大小为2时，构造的共现矩阵为：

     

   • 词向量与共现矩阵的关系

     设共现矩阵为X，其第i行第j个元素为 X

这篇关于工智能基础知识总结--词嵌入之GloVe的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---