[机器学习与深度学习] - No.1 基于Negative Sampling SKip-Gram Word2vec模型学习总结

本文主要是介绍[机器学习与深度学习] - No.1 基于Negative Sampling SKip-Gram Word2vec模型学习总结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

基于Negative Sampling SKip-Gram Word2vec模型学习总结

1. Word2vec简介

Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型,它被大量地用在自然语言处理(NLP)中。那么它是如何帮助我们做自然语言处理呢?Word2Vec其实就是通过学习文本来用词向量的方式表征词的语义信息。Word2vec的结果是为了获得Word Embedding,我们又称为词嵌入。Word Embedding就是一个映射,将单词从原先所属的空间映射到新的多维空间中,也就是把原先词所在空间嵌入到一个新的空间中去。

Word2Vec模型实际上分为了两个部分,第一部分为建立模型,第二部分是通过模型获取嵌入词向量。基于训练数据构建一个神经网络,当这个模型训练好以后,我们并不会用这个训练好的模型处理新的任务,我们真正需要的是这个模型通过训练数据所学得的参数,例如隐层的权重矩阵。

如果之前了解过RNN 语言模型,会了解到,如果我们的词典中一共有10000个不同的词,那么我们每个词将会使用10000维的***one-hot***编码来表示。如果我们希望使用300维的特征向量代表每个词,我们设置模型的隐藏层节点为300维。输入层-隐藏层的权重矩阵为:10000X300维。那么权重矩阵的每一行即代表我们最后所需的word embedding

Word2vec模型结构:
这里写图片描述

输入层-隐藏层权重矩阵:
这里写图片描述

2. Skip-Gram

Word2Vec模型中,主要有Skip-Gram和CBOW两种模型,。Skip-Gram是给定中心词来预测上下文,CBOW是给定上下文,来预测中心词

这里写图片描述

如上图所示,蓝色是我们给定的中心词,上下两边绿色的字体表示我们中心词的上下文

这里写图片描述

1. 输入形式

Word2vec的输入形式为one-hot编码。假设从我们的训练文档中抽取出10000个唯一不重复的单词组成词汇表。我们对这10000个单词进行one-hot编码,得到的每个单词都是一个10000维的向量,向量每个维度的值只有0或者1,假如单词ants在词汇表中的出现位置为第3个,那么ants的向量就是一个第三维度取值为1,其他维都为0的10000维的向量(ants=[0, 0, 1, 0, …, 0])。

模型的输入如果为一个10000维的向量,那么输出也是一个10000维度(词汇表的大小)的向量,它包含了10000个概率,每一个概率代表着当前词是输入样本中output word的概率大小。

2. 样本形式

假设我们有一句话“The quick brown fox jumps over the lazy dog.”

  • 我们假设中间词为fox
  • 接下来,我们设置中心词fox的上下文范围。我们使用skip_window来表示我们从中心词的左右两侧选取的词的数量,num_skips 表示我们在中心词的上下文中选取作为输出词的数量。例如:当skip_window=2num_skips = 2,中心词为fox时 ,我们获得fox的上下文窗口为['quick','brown','jumps','over']。我们随机从窗口中选取两个词作为输出,那么我们的样本元组应该如同:('fox','brown')('fox','over')

这里写图片描述

如上图,列出了中心词所有的训练样本。在代码的实现过程中,我们会使用随机数来随机选取窗口中的输出词。

3. Negative Sampling

训练一个神经网络意味着要输入训练样本并且不断调整神经元的权重,从而不断提高对目标的准确预测。每当神经网络经过一个训练样本的训练,它的权重就会进行一次调整。语料词典的大小决定了我们的Skip-Gram神经网络将会拥有大规模的权重矩阵,所有的这些权重需要通过我们数以亿计的训练样本来进行调整,这是非常消耗计算资源的,并且实际中训练起来会非常慢。

1. 负采样简介

**负采样(negative sampling)**解决了这个问题,它是用来提高训练速度并且改善所得到词向量的质量的一种方法。不同于原本每个训练样本更新所有的权重,负采样每次让一个训练样本仅仅更新一小部分的权重,这样就会降低梯度下降过程中的计算量。

假如我们训练样本('fox','brown'),由于我们使用的是one-hot编码来表示词,我们期望对应“brown”单词的那个输出神经元输出1,其他剩余的所有输出神经元输出0,我们称所有输出为1的输出神经元对应的词为"positive"词,所有输出为0的神经元对应的词为"negative"词

使用负采样的方法,我们不对所有输出神经元对应的权值进行更新,只是随机选取几个"negative"词,更新他们对应的权重。当然,我们也会更新"positive"的对应权值。

如上面所述,加入我们有10000个单词,每个单词用300维表示,那么我们的权重矩阵为***10000x300***维的矩阵。我们每次更新需要更新3000000个值。如果我们只更新随机选取的5个"negative"单词和一个"positive"的权重,那么我们只需要更新1800个值,相当于之前0.06%的计算量。

2. 负采样点选取

本质上来说,一个单词备选做为"negative word"的概率和他出现的频率有关,出现频次越高的单词越容易备选做"negative word"。这就是我们对采样过程的一个大致要求,本质上是一个带权采样的问题。

我们使用一个比较通俗的描述来解释一下带权采样:

设词典D中的每个词 ω \omega ω 对应一个线段 l ( ω ) l(\omega) l(ω) ,长度为:
l e n ( ω ) = c o u n t e r ( ω ) ∑ u ∈ D c o u n t e r ( u ) len(\omega) = \frac{counter(\omega)}{\sum_{u\in D} counter(u)} len(ω)=uDcounter(u)counter(ω)
这里的counter()表示一个词在语料中出现的次数。现在将这些线段首位连接在一起,形成一个长度为1的单位线段,如果在线段上随机的打点,那么长度长(频率大)的线段被打中的概率就大

所以,根据 { l e n ( ) j } j = 0 N \{len()_j\}_{j=0}^N {len()j}j=0N 可以得到区间[0,1]上的一个非等距剖分,共有N个剖分区间

接着,我们引入区间[0,1]上的一个等距离剖分,剖分解点为 { m j } j = 0 M \{m_j\}^M_{j=0} {mj}j=0M ,其中M >> N, 如下图所示
这里写图片描述
如上图所示,采样就简单了。我们生成一个[1,M-1]之间的随机整数r,然后查看该整数r落在了哪个词对应的线段内,那么该单词就是采样点。如果碰巧遇到了’'positive word",那么就跳过重新选取。

在word2vec的C语言实现中,使用了下面的公式来计算单词被选做负样本的概率。每个单词被选为“negative words”的概率计算公式与其出现的频次有关。
P ( ω j ) = f ( ω j ) 3 4 ∑ j = 0 n ( f ( ω j ) 3 4 ) P(\omega_j) = \frac{{f(\omega_j)}^{\frac{3}{4}}}{\sum^n_{j=0} {(f(\omega_j)^{\frac{3}{4}})}} P(ωj)=j=0n(f(ωj)43)f(ωj)43
其中 f ( ω j ) f(\omega_j) f(ωj) 代表词 ω j {\omega_j} ωj 的在整个语料中出现的频次

####4. 参考文章:

http://blog.csdn.net/itplus/article/details/37998797

https://www.leiphone.com/news/201706/eV8j3Nu8SMqGBnQB.html

http://www.thushv.com/natural_language_processing/word2vec-part-1-nlp-with-deep-learning-with-tensorflow-skip-gram/

http://mccormickml.com/2017/01/11/word2vec-tutorial-part-2-negative-sampling/

这篇关于[机器学习与深度学习] - No.1 基于Negative Sampling SKip-Gram Word2vec模型学习总结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/897396

相关文章

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

java常见报错及解决方案总结

《java常见报错及解决方案总结》:本文主要介绍Java编程中常见错误类型及示例,包括语法错误、空指针异常、数组下标越界、类型转换异常、文件未找到异常、除以零异常、非法线程操作异常、方法未定义异常... 目录1. 语法错误 (Syntax Errors)示例 1:解决方案:2. 空指针异常 (NullPoi

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

Java反转字符串的五种方法总结

《Java反转字符串的五种方法总结》:本文主要介绍五种在Java中反转字符串的方法,包括使用StringBuilder的reverse()方法、字符数组、自定义StringBuilder方法、直接... 目录前言方法一:使用StringBuilder的reverse()方法方法二:使用字符数组方法三:使用自

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

Python依赖库的几种离线安装方法总结

《Python依赖库的几种离线安装方法总结》:本文主要介绍如何在Python中使用pip工具进行依赖库的安装和管理,包括如何导出和导入依赖包列表、如何下载和安装单个或多个库包及其依赖,以及如何指定... 目录前言一、如何copy一个python环境二、如何下载一个包及其依赖并安装三、如何导出requirem