概念解析 | 神经网络中的位置编码(Positional Encoding)

本文主要是介绍概念解析 | 神经网络中的位置编码(Positional Encoding)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

注1:本文系“概念解析”系列之一,致力于简洁清晰地解释、辨析复杂而专业的概念。本次辨析的概念是:Positional Encoding

神经网络中的位置编码(Positional Encoding)

A Gentle Introduction to Positional Encoding in Transformer Models, Part 1

1.背景介绍

在自然语言处理任务中,序列的顺序信息非常重要。例如,“小明去公园玩球”和“小明玩球去公园”这两句话含义不同。因此,需要在神经网络中加入位置信息,以表示单词在序列中的位置。

但是,标准的神经网络由于结构的平移不变性,无法学到位置信息。 卷积层和全连接层都对输入的顺序不敏感。为了使神经网络学习位置信息,需要人为地在网络中加入位置编码(Positional Encoding)。

2. 原理介绍

位置编码对输入序列 x

这篇关于概念解析 | 神经网络中的位置编码(Positional Encoding)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---