通俗理解向量:从One-hot 到词嵌入

2024-05-16 03:52
文章标签 理解 向量 嵌入 one hot 通俗

本文主要是介绍通俗理解向量:从One-hot 到词嵌入,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在NLP任务中,将文本转换为向量是一个必要的步骤,这个过程被称为词嵌入

很多同学在学习过程中,对向量这一概念很模糊,或者无法理解:为什么要把一个单独的token,或者一个数字,在转换为复杂的向量呢?

为了说明这个问题,本文以One-hot编码为切入点,来理解数值转换为向量的作用。在之前介绍视觉分类模型时,曾多次介绍过该算法。

1、什么是 one-hot 编码

one-hot 编码用于将离散的数值转换为二进制向量。

这里有两个关键词,第一个是离散的分类,第二个是二进制向量

什么是离散的分类呢?

假设我们现在有三个类别,分别是猫、狗、人,当然你也可以认为是3个token,都可以。

那这 3 个类别就是一种离散的分类:它们之间互相独立,不存在谁比谁大、谁比谁先的关系。

这就是离散分类。

再看下二进制向量。

向量我们都能理解,A = [1, 2, 3, 4] 这是一个一维数组,也可以称之为一维向量。

那么二进制向量,就是里面的数字都是二进制的,像是[0, 1, 0, 0],因为在二进制里面,数字只有 0 和 1。

在搞清楚这两个概念之后,我们回到分类任务本身,需要对猫、狗、人这三个类别进行分类。

在神经网络中,需要一种数学表示方法,来表示猫、狗、人的分类。

我们最容易想到的,便是以 0 代表猫,以 1 代表狗,以 2 代表人这种简单且粗暴的方式。

那这样行不行呢?肯定不行。

因为一旦这样表示,以数学的运算逻辑,人(2) = 狗(1) + 狗(1)。

这样,在计算机眼里,一个人就等于两只狗,造成逻辑错乱了。

因此,需要有一种表示方法,在离散分类中,将互相独立的分类表示为互相独立的数字,使其不存在大小关系,也不存在可计算关系。

这就要用到 one-hot 编码了,也叫独热编码。

它就用二进制向量来表征这种离散的分类标签。

2、独热编码怎么做?

猫、狗、人三分类问题,我们可以很简单的将其进行如下的编码。

图片

上表竖着看,黄色的代表是猫的编码 [1, 0, 0],浅绿色代表的是狗的编码 [0, 1, 0]。

解释如下:如果一个类别标签是猫,那么猫对应的位置就是1,狗和人对应的位置就是0,得到一个编码[1, 0, 0]。

这样得到的编码都是独立的。

我们学过几何,在三维坐标系下,[1, 0, 0]、[0, 1, 0]和[0, 0, 1]这三个向量是互相垂直的,也就是互相正交独立。

他们之间欧式距离相等,这就解决了上面说的问题。

也不存在人=狗+狗的错误逻辑了。

3、词嵌入怎么做的

在大模型对文本进行处理之前,其中一个关键的预处理过程是将文本(token)转换为词嵌入向量。

一般而言,这时转换完的词嵌入向量是一个多维向量,并且每个维度都不是二进制(0或者1这么简单)。

所以,词嵌入向量与One-hot编码有着很大的区别。

区别在于,One-hot编码中只有一个位置的值为1,其余全为0。而在词嵌入向量中,包含了很多数值,每个数值具有不同的意思,代表token中的不同特征。

可以说,One-hot向量是词嵌入向量在数学表示上的一个特殊情况。

至于词嵌入该如何实现,如何更友好的理解词嵌入使用的动机和原理,可以关注《Transformer最后一公里》专栏,专栏里会详细拆解Transformer架构中用到的各种算法原理和使用动机。

我的Transformer专栏来啦-CSDN博客文章浏览阅读558次,点赞11次,收藏5次。现在很多主流的大语言模型,比如chatGPT都是基于该架构进行的模型设计,可以说Transformer顶起了AI的半壁江山。对于这些有些枯燥的概念,有些乏味的数学表达,我会尽可能说的直白和通俗易懂,打通理解Transformer的最后一公里。我会在本公众号进行文章的首发,相关文章会添加标签“Transformer专栏”,可点击文章左下角的标签查看所有文章。巧的是,下班路上刚手敲完大纲,晚上一个小伙伴来咨询学习LLM的事情,问我之前写的《五一节前吹的牛,五一期间没完成,今天忙里偷闲,给完成了。https://blog.csdn.net/dongtuoc/article/details/138633936?spm=1001.2014.3001.5501

这篇关于通俗理解向量:从One-hot 到词嵌入的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/993799

相关文章

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

【C++高阶】C++类型转换全攻略:深入理解并高效应用

📝个人主页🌹:Eternity._ ⏩收录专栏⏪:C++ “ 登神长阶 ” 🤡往期回顾🤡:C++ 智能指针 🌹🌹期待您的关注 🌹🌹 ❀C++的类型转换 📒1. C语言中的类型转换📚2. C++强制类型转换⛰️static_cast🌞reinterpret_cast⭐const_cast🍁dynamic_cast 📜3. C++强制类型转换的原因📝

深入理解RxJava:响应式编程的现代方式

在当今的软件开发世界中,异步编程和事件驱动的架构变得越来越重要。RxJava,作为响应式编程(Reactive Programming)的一个流行库,为Java和Android开发者提供了一种强大的方式来处理异步任务和事件流。本文将深入探讨RxJava的核心概念、优势以及如何在实际项目中应用它。 文章目录 💯 什么是RxJava?💯 响应式编程的优势💯 RxJava的核心概念

如何通俗理解注意力机制?

1、注意力机制(Attention Mechanism)是机器学习和深度学习中一种模拟人类注意力的方法,用于提高模型在处理大量信息时的效率和效果。通俗地理解,它就像是在一堆信息中找到最重要的部分,把注意力集中在这些关键点上,从而更好地完成任务。以下是几个简单的比喻来帮助理解注意力机制: 2、寻找重点:想象一下,你在阅读一篇文章的时候,有些段落特别重要,你会特别注意这些段落,反复阅读,而对其他部分

深入理解数据库的 4NF:多值依赖与消除数据异常

在数据库设计中, "范式" 是一个常常被提到的重要概念。许多初学者在学习数据库设计时,经常听到第一范式(1NF)、第二范式(2NF)、第三范式(3NF)以及 BCNF(Boyce-Codd范式)。这些范式都旨在通过消除数据冗余和异常来优化数据库结构。然而,当我们谈到 4NF(第四范式)时,事情变得更加复杂。本文将带你深入了解 多值依赖 和 4NF,帮助你在数据库设计中消除更高级别的异常。 什么是

分布式系统的个人理解小结

分布式系统:分的微小服务,以小而独立的业务为单位,形成子系统。 然后分布式系统中需要有统一的调用,形成大的聚合服务。 同时,微服务群,需要有交流(通讯,注册中心,同步,异步),有管理(监控,调度)。 对外服务,需要有控制的对外开发,安全网关。

Java IO 操作——个人理解

之前一直Java的IO操作一知半解。今天看到一个便文章觉得很有道理( 原文章),记录一下。 首先,理解Java的IO操作到底操作的什么内容,过程又是怎么样子。          数据来源的操作: 来源有文件,网络数据。使用File类和Sockets等。这里操作的是数据本身,1,0结构。    File file = new File("path");   字

理解java虚拟机内存收集

学习《深入理解Java虚拟机》时个人的理解笔记 1、为什么要去了解垃圾收集和内存回收技术? 当需要排查各种内存溢出、内存泄漏问题时,当垃圾收集成为系统达到更高并发量的瓶颈时,我们就必须对这些“自动化”的技术实施必要的监控和调节。 2、“哲学三问”内存收集 what?when?how? 那些内存需要回收?什么时候回收?如何回收? 这是一个整体的问题,确定了什么状态的内存可以