Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

2024-03-31 06:32
文章标签 using rnn learning machine translation statistical encoder representations phrase decoder

本文主要是介绍Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文为论文翻译
在这个文章中，我们提出了一个新奇的神经网络模型，叫做RNN Encoder–Decoder，它包括两个RNN。一个ＲＮＮ用来把一个符号序列编码为固定长度的向量表示，另一个ＲＮＮ用来把向量表示解码为另外一个符号向量；提出的模型中的编码器和解码器被连接起来用于训练，目的是最大化目标序列相对于原序列的条件概率；基于经验，如果把the RNN Encoder–Decoder作为现存的log-linearmodel的添加的特性来计算语句对间的条件概率，统计机器翻译系统的性能能够提升。定性的，我们提出的模型学习到了语言中语句的一个包含语义和语法有意义的表示
Ｉｎｔｒｏｄｕｃｅ
深度神经网络已经在各种各样的应用中展现了很大的成功。例如，对象识别与语音识别；此外，许多最近的工作证明神经网络能够成功的用于许多自然语言处理过程中，这包括但不限于语言模型、解释识别和释义解释和单词嵌入提取；在统计机器翻译（statistical machine translation (SMT)）中，深度神经网络有望获得期望的效果；（Schwenk,2012）总结了一个在基于短语的SMT系统框架下的负反馈神经网络的成功应用。
沿着这条路线，使用神经网络对STM进行研究，这篇文章关注于一个新奇的神经网络框架，它能够被用于传统的基于语句的SMT框架的一部分。我们称之为RNN Encoder–Decoder，有两个ＲＮＮ组成，作为编码器和解码器组合。编码器把变长的源序列映射为一个固定长度的向量，解码器把向量表示映射为变长的目标序列。这两个网络连接起来被训练，目标是最大化条件概率，此外，我们提出使用一个相对复杂的隐含单元，来提高记忆能力和训练情况；
带有一个神奇隐含层的RNN Encoder–Decoder在从英语翻译为法语的项目中被基于经验主义的评价。我们训练这个模型来学习英语语句转化为相应法语语句的转换概率；这个模型之后被用于标准的基于语句的ＳＭＴ系统的一部分，通过对表中的语句对进行评分；基于经验主义的评价表明这种方案能够提高翻译的质量；
我们进行定性的分析，通过把训练的RNN Encoder–Decoder和已经存在的翻译模型进行比较。定量分析表明：the RNN Encoder–Decoder能够更好地捕获语言规律，直接说明了整体的翻译表现的性能提升；更深入的分析揭示了the RNN Encoder–Decoder学习到了一个语句的连续空间向量表示，它包含了语义和语句的语法结构；

这篇关于Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/863647。

相关文章

简单的Q-learning|小明的一维世界(3)

简单的Q-learning|小明的一维世界(3)

简单的Q-learning|小明的一维世界(1) 简单的Q-learning|小明的一维世界(2) 一维的加速度世界 这个世界，小明只能控制自己的加速度，并且只能对加速度进行如下三种操作：增加1、减少1、或者不变。所以行动空间为： { u 1 = − 1 , u 2 = 0 , u 3 = 1 } \{u_1=-1, u_2=0, u_3=1\} {u1​=−1,u2​=0,u3​=1}
阅读更多...
简单的Q-learning|小明的一维世界(2)

简单的Q-learning|小明的一维世界(2)

上篇介绍了小明的一维世界模型 、Q-learning的状态空间、行动空间、奖励函数、Q-table、Q table更新公式、以及从Q值导出策略的公式等。最后给出最简单的一维位置世界的Q-learning例子，从给出其状态空间、行动空间、以及稠密与稀疏两种奖励函数的设置方式。下面将继续深入，GO！ 一维的速度世界 这个世界，小明只能控制自己的速度，并且只能对速度进行如下三种操作：增加1、减
阅读更多...
ZOJ 3324 Machine(线段树区间合并）

ZOJ 3324 Machine(线段树区间合并）

这道题网上很多代码是错误的，由于后台数据水，他们可以AC。 比如这组数据 10 3 p 0 9 r 0 5 r 6 9 输出应该是 0 1 1 所以有的人直接记录该区间是否被覆盖过的方法是错误的 正确方法应该是记录这段区间的最小高度（就是最接近初始位置的高度），和最小高度对应的最长左区间和右区间 开一个sum记录这段区间最小高度的块数，min_v 记录该区间最小高度 cover
阅读更多...
idea中配置Translation插件完成翻译功能

idea中配置Translation插件完成翻译功能

文章目录 idea下载插件配置有道云阿里云百度翻译开放平台 idea下载插件 idea中安装Translation插件 使用方法：右下角选择翻译引擎，鼠标选中想翻译的部分，右键翻译即可 之前一直用的微软的翻译，不需要配置，但是最近微软服务器总是抽风，无法使用，故打算配置一下国内的翻译服务。 配置 有道云 只有初始的一点额度，用完就要收费了，不推荐
阅读更多...
RNN发展（RNN/LSTM/GRU/GNMT/transformer/RWKV）

RNN发展（RNN/LSTM/GRU/GNMT/transformer/RWKV）

RNN到GRU参考： https://blog.csdn.net/weixin_36378508/article/details/115101779 tRANSFORMERS参考： seq2seq到attention到transformer理解 GNMT 2016年9月 谷歌,基于神经网络的翻译系统（GNMT），并宣称GNMT在多个主要语言对的翻译中将翻译误差降低了55%-85%以上， G
阅读更多...
Learning Memory-guided Normality for Anomaly Detection——学习记忆引导的常态异常检测

Learning Memory-guided Normality for Anomaly Detection——学习记忆引导的常态异常检测

又是一篇在自编码器框架中研究使用记忆模块的论文，可以看做19年的iccv的论文的衍生，在我的博客中对19年iccv这篇论文也做了简单介绍。韩国人写的，应该是吧，这名字听起来就像。 摘要abstract 我们解决异常检测的问题，即检测视频序列中的异常事件。基于卷积神经网络的异常检测方法通常利用代理任务(如重建输入视频帧)来学习描述正常情况的模型，而在训练时看不到异常样本，并在测试时使用重建误
阅读更多...
Learning Temporal Regularity in Video Sequences——视频序列的时间规则性学习

Learning Temporal Regularity in Video Sequences——视频序列的时间规则性学习

Learning Temporal Regularity in Video Sequences CVPR2016 无监督视频异常事件检测早期工作 摘要 由于对“有意义”的定义不明确以及场景混乱，因此在较长的视频序列中感知有意义的活动是一个具有挑战性的问题。我们通过在非常有限的监督下使用多种来源学习常规运动模式的生成模型（称为规律性）来解决此问题。体来说，我们提出了两种基于自动编码器的方法，以
阅读更多...
白话RNN系列（七）

白话RNN系列（七）

本文，探讨下LSTM的一些高级应用，比如双向LSTM。 前面的探讨过程中， 我们使用到的RNN或者LSTM都是单向的，即按照时间顺序排列的一维序列；而在实际应用中，双向的RNN由于考虑到更充足的上下文，往往能起到更好的效果： Bi-RNN又叫双向RNN，是采用了两个方向的RNN网络。 RNN网络擅长的是对于连续数据的处理，既然是连续的数据规律，我们不仅可以学习它的正向规律，还可以学习它的反向规
阅读更多...
白话RNN系列（六）

白话RNN系列（六）

上文给出了一个LSTM使用的具体例子，但其中依旧存在一些东西说的不是很清楚明白，接下来，我们会针对LSTM使用中更加细致的一些东西，做一些介绍。 本人目前使用的基本都是TensorFlow进行开发。 lstm_cell = tf.nn.rnn_cell.LSTMCell(n_hidden, forget_bias=1.0, name='basic_lstm_cell')outputs, st
阅读更多...
白话RNN系列（五）

白话RNN系列（五）

前文，对于LSTM的结构进行了系统的介绍，本文，通过一个MNIST_data的例子，争取能够把LSTM的基本使用来吃透。 import tensorflow as tfimport input_data# 导入 MINST 数据集# from tensorflow.examples.tutorials.mnist import input_data# one_hot=True，代表输入的
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2