论文阅读：《Neural Machine Translation by Jointly Learning to Align and Translate》

2024-06-02 04:32
文章标签 阅读 论文 learning machine align neural translation translate jointly

本文主要是介绍论文阅读：《Neural Machine Translation by Jointly Learning to Align and Translate》，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

重磅专栏推荐：
《大模型AIGC》
《课程大纲》
《知识星球》

本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在帮助读者更好地理解和应用这些领域的最新进展

https://blog.csdn.net/u011239443/article/details/80521026
论文地址：http://pdfs.semanticscholar.org/071b/16f25117fb6133480c6259227d54fc2a5ea0.pdf

摘要

神经机器翻译是最近提出的机器翻译方法。与传统的统计机器翻译不同，神经机器翻译的目标是建立一个单一的神经网络，可以共同调整以最大化翻译性能。最近提出的用于神经机器翻译的模型经常属于编码器 - 译码器族，并且将源句子编码成固定长度的矢量，解码器从该矢量生成翻译。在本文中，我们推测使用固定长度向量是提高这种基本编码器 - 解码器架构性能的瓶颈，并且建议通过允许模型自动（软）搜索零件来扩展它的源句子与预测目标词相关，而不必将这些部分明确地形成为硬分段。采用这种新方法，我们实现了与现有最​​先进的基于短语的系统相媲美的英文到法文翻译的翻译性能。此外，定性分析显示模型发现的（软）对齐与我们的直觉非常吻合。

1. 介绍

最近由Kalchbrenner和Blunsom（2013），Sutskever（2014）和Cho（2014b）提出的神经机器翻译是一种新兴的机器翻译方法。 与传统的基于短语的翻译系统（参见Koehn等人，2003）不同，它由许多分开调谐的小型子部件组成，神经机器翻译尝试构建和训练单个大型神经网络读取一个句子并输出正确的翻译。

大多数提出的神经机器翻译模型属于一个编码器 - 解码器家族，每种语言都有一个编码器和一个解码器，或者涉及一种语言特定的编码器，然后将这些编码器应用于每个句子，然后将其输出进行比较。 编码器神经网络将源信号读取并编码为固定长度的矢量。 解码器然后从编码矢量输出翻译。 整个编码器 - 译码器系统由编码器和语言对的译码器共同训练，以最大化给定源句子的正确译文的概率。

这种编码器 - 解码器方法的一个潜在问题是神经网络需要能够将源语句的所有必要信息压缩成固定长度的向量。 这可能使神经网络很难处理长句，特别是那些比训练语料库中的句子更长的句子。 Cho等人 表明，当输入句子的长度增加时，基本编码器 - 译码器的性能的确会迅速恶化。

为了解决这个问题，我们引入了一个扩展到编码器 - 解码器模型，学习联合对齐和翻译。 每次提出的模型在翻译中生成一个单词时，它（软）会在源句子中搜索一组位置，其中最相关的信息是集中的。 该模型然后基于与这些源位置和所有先前生成的目标词相关联的上下文向量来预测目标词。

在本文中，我们表明，所提出的联合学习对齐和平移的方法实现了比基本编码器 - 解码器方法显着提高的翻译性能。 用更长的句子来改进这种改进更为明显，但可以用任何长度的句子来观察。 在英文到法文翻译的任务中，所提出的方法通过单一模型实现了与传统的基于短语的系统相当或接近的翻译性能。 此外，定性分析表明，所提出的模型发现源语句和相应的目标语句之间在语言上可信（软）对应。

2. 背景：神经机器翻译

从概率的角度来看，翻译等同于找到一个目标句子y，它使给定源句子x的y的条件概率最大化，即 a r g m a x y p （ y ∣ x ） arg max_y p（y | x） argmaxy​p（y∣x）。 在神经机器翻译中，我们拟合参数化模型，以使用并行训练语料库来最大化语句对的条件概率。 一旦通过翻译模型学习了条件分布，给定源句子，可以通过搜索使条件概率最大化的句子来生成相应的翻译。

最近，一些论文提出使用神经网络直接学习这种条件分布。这种神经机器翻译方法典型地由两部分组成，其中第一部分编码源句子x，第二部分解码为目标句子y。 例如，（Cho等，2014a）和（Sutskever等，2014）使用两个循环神经网络（RNN）将可变长度的源语句编码成固定长度的向量并将该向量解码为一个可变长度的目标语句。

尽管是一种相当新颖的方法，神经机器翻译已经显示出有希望的结果。 Sutskever报告说，基于长期短期记忆（LSTM）单位的RNNs的神经机器翻译实现了接近传统的基于短语的机器翻译系统在英语到法语翻译任务上的最新性能。 例如，将现有翻译系统的神经元件添加到短语表中或对候选翻译进行重新排名，可以超越以前的最新性能水平。

2.1 RNN编码器 - 解码器

在这里，我们简要地描述由Cho和Sutskever提出的称为RNN编码器 - 解码器的底层框架，我们在该框架上构建了一种能够同时对齐和翻译的新颖架构。

在编码器 - 解码器框架中，编码器将输入句子（向量 x = （ x 1 ， . . . ， x T x ） x =（x_1，...，x_{T_x}） x=（x1​，...，xTx​​）的序列）到向量c中。最常见的方法是使用RNN：

和

其中 h t ∈ R n h_t∈R_n ht​∈Rn​是时刻t的隐藏状态，c是隐藏状态序列产生的向量。 f和q是一些非线性函数。例如，Sutskever等人 （2014）使用LSTM作为f和 q （ h 1 ， . . . ， h T ） = h T q（{h_1，...，h_T}）= h_T q（h1​，...，hT​）=hT​。

解码器通常被训练来预测给定上下文向量c和所有先前预测的词 y 1 ， . . . ， y t ′ − 1 {y_1，...，y_{t'-1}} y1​，...，y

这篇关于论文阅读：《Neural Machine Translation by Jointly Learning to Align and Translate》的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1023036。

相关文章

[vivado]translate_off\on

[vivado]translate_off\on

答疑帖： 1）https://forums.xilinx.com/t5/Synthesis/Question-about-synthesis-translate-on-and-translate-off/td-p/658790
阅读更多...
Deep Learning复习笔记0

Deep Learning复习笔记0

Key Concept: Embedding: learned dense, continuous, low-dimensional representations of object 【将难以表示的对象(如图片，文本等)用连续的低维度的方式表示】 RNN: Recurrent Neural Network -> for processing sequential data (time se
阅读更多...
ssh在本地虚拟机中的应用——解决虚拟机中编写和阅读代码不方便问题的一个小技巧

ssh在本地虚拟机中的应用——解决虚拟机中编写和阅读代码不方便问题的一个小技巧

虚拟机中编程小技巧分享——ssh的使用 事情的起因是这样的：前几天一位工程师过来我这边，他看到我在主机和虚拟机运行了两个vscode环境，不经意间提了句：“这么艰苦的环境写代码啊”。 后来我一想：确实。 我长时间以来都是直接在虚拟机里写的代码，但是毕竟是虚拟机嘛，有时候编辑器没那么流畅，在文件比较多的时候跳转很麻烦，容易卡住。因此，我当晚简单思考了一下，想到了一个可行的解决方法——即用ssh
阅读更多...
康奈尔大学之论文审稿模型Reviewer2及我司七月对其的实现(含PeerRead)

康奈尔大学之论文审稿模型Reviewer2及我司七月对其的实现(含PeerRead)

前言 自从我司于23年7月开始涉足论文审稿领域之后「截止到24年6月份，我司的七月论文审稿GPT已经迭代到了第五版，详见此文的8.1 七月论文审稿GPT(从第1版到第5版)」，在业界的影响力越来越大，所以身边朋友如发现业界有相似的工作，一般都会第一时间发给我，比如本部分要介绍的康奈尔大学的reviewer2 当然，我自己也会各种看类似工作的论文，毕竟同行之间的工作一定会互相借鉴的，我们会学他们
阅读更多...
芯片后端之 PT 使用 report_timing 产生报告如何阅读

芯片后端之 PT 使用 report_timing 产生报告如何阅读

今天，就PT常用的命令，做一个介绍，希望对大家以后的工作，起到帮助作用。 在PrimeTime中，使用report_timing -delay max命令生成此报告。switch -delay max表示定时报告用于设置(这是默认值)。 首先，我们整体看一下通过report_timing 运行之后，报告产生的整体样式。 pt_shell> report_timing -from start_
阅读更多...
【论文精读】分类扩散模型：重振密度比估计（Revitalizing Density Ratio Estimation）

【论文精读】分类扩散模型：重振密度比估计（Revitalizing Density Ratio Estimation）

文章目录 一、文章概览（一）问题的提出（二）文章工作 二、理论背景（一）密度比估计DRE（二）去噪扩散模型 三、方法（一）推导分类和去噪之间的关系（二）组合训练方法（三）一步精确的似然计算 四、实验（一）使用两种损失对于实现最佳分类器的重要性（二）去噪结果、图像质量和负对数似然 论文：Classification Diffusion Models: Revitalizing
阅读更多...
【python】python葡萄酒国家分布情况数据分析pyecharts可视化（源码+数据集+论文）【独一无二】

【python】python葡萄酒国家分布情况数据分析pyecharts可视化（源码+数据集+论文）【独一无二】

👉博__主👈：米码收割机 👉技__能👈：C++/Python语言 👉公众号👈：测试开发自动化【获取源码+商业合作】 👉荣__誉👈：阿里云博客专家博主、51CTO技术博主 👉专__注👈：专注主流机器人、人工智能等相关领域的开发、测试技术。 python葡萄酒国家分布情况数据分析pyecharts可视化（源码+数据集+论文）【独一无二】 目录 python葡
阅读更多...
论文阅读--Efficient Hybrid Zoom using Camera Fusion on Mobile Phones

论文阅读--Efficient Hybrid Zoom using Camera Fusion on Mobile Phones

这是谷歌影像团队 2023 年发表在 Siggraph Asia 上的一篇文章，主要介绍的是利用多摄融合的思路进行变焦。 单反相机因为卓越的硬件性能，可以非常方便的实现光学变焦。不过目前的智能手机，受制于物理空间的限制，还不能做到像单反一样的光学变焦。目前主流的智能手机，都是采用多摄的设计，一般来说一个主摄搭配一个长焦，为了实现主摄与长焦之间的变焦，目前都是采用数字变焦的方式，数字变焦相比于光学
阅读更多...
【LLM之KG】CoK论文阅读笔记

【LLM之KG】CoK论文阅读笔记

研究背景 大规模语言模型（LLMs）在许多自然语言处理（NLP）任务中取得了显著进展，特别是在零样本/少样本学习（In-Context Learning, ICL）方面。ICL不需要更新模型参数，只需利用几个标注示例就可以生成预测。然而，现有的ICL和链式思维（Chain-of-Thought, CoT）方法在复杂推理任务上仍存在生成的推理链常常伴随错误的问题，导致不真实和不可靠的推理结果。
阅读更多...
【python】python基于akshare企业财务数据对比分析可视化（源码+数据集+论文）【独一无二】

【python】python基于akshare企业财务数据对比分析可视化（源码+数据集+论文）【独一无二】

👉博__主👈：米码收割机 👉技__能👈：C++/Python语言 👉公众号👈：测试开发自动化【获取源码+商业合作】 👉荣__誉👈：阿里云博客专家博主、51CTO技术博主 👉专__注👈：专注主流机器人、人工智能等相关领域的开发、测试技术。 系列文章目录 目录 系列文章目录一、设计要求二、设计思路三、可视化分析 一、设计要求 选取中铁和贵州茅
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2