【深度】AI 入侵翻译,神经机器翻译进化让巴别塔7年内成真

2024-01-12 22:30

本文主要是介绍【深度】AI 入侵翻译,神经机器翻译进化让巴别塔7年内成真,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


“从事翻译的人很可能会看到一些工作机会在不断消失,他们必须要习惯一种‘创业思维’。”


5月27日,中国围棋大师柯洁在与AlphaGo的围棋对决中输掉最后一盘,0:3输掉全部比赛。当下,AI 所激起的惊慌不仅在围棋界蔓延,而且扩展到了几乎每一个领域,翻译受到的冲击尤为严重。现在,谷歌等公司向全世界提供免费的翻译服务,并且,已经可以提供“可理解”的翻译结果。


牛津大学最近完成了一项对机器学习研究人员的大型调查,调查内容是他们对 AI 进展的看法。综合这些研究人员的预测,未来10年,AI 将在许多活动中表现超过人类,例如翻译语言(到2024年),具体预测见下表:


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=


近年来,深度学习对翻译的最大影响,来自基于神经系统的机器翻译(NMT),这一技术将机器翻译的准确率大大提升。


谷歌2016年推出可商业部署的神经系统机器翻译,准确率达86%


在十年前推出时,谷歌翻译采用的是基于词组的机器翻译(PBMT),几年前,谷歌大脑团队开始使用循环神经网络(RNN),直接学习输入序列到输出序列之间的映射。基于词组的机器翻译(PBMT)是将句子拆分成字词后单独翻译,而神经网络机器翻译(NMT)则将输入视为一个整体进行翻译。这样做的好处是翻译时需要进行的调整少了很多。


当神经网络机器翻译技术刚刚出现时,就在中等规模的公共数据集上取得了与 PBMT 不相上下的成绩。自那时起,从事机器翻译研究的人提出了很多种方法改善 NMT,包括使用注意力将输入和输出对齐,将单词拆分成更小的单元或模仿外部对齐模型应对生僻字词。尽管如此,NMT 的表现仍是不足以成为产品被大规模部署。


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=


下面的动图展示了 GNMT 进行汉英翻译的过程。首先,网络将汉字(输入)编码成一串向量,每个向量代表了当前读到它那里的意思(即 e3 代表“知识就是”,e5 代表“知识就是力量”)。整句话读完之后开始解码,每次生成一个作为输出的英语单词(解码器)。


0?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1

要每一步生成一个翻译好的英语单词,解码器需要注意被编码中文向量的加权分布中,与生成英语单词关系最为密切的那个(上图中解码器 d 上面多条透明蓝线中颜色最深的那条),解码器关注越多,蓝色越深。


使用人类对比评分指标,GNMT 系统生成的翻译相比此前有了大幅提高。在几种重要语言中,GNMT 将翻译错误降低了 55%-58%。


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=


此外,谷歌大脑团队还宣布 GNMT 汉英英汉试用版上线。现在,谷歌翻译汉英语言的移动版和网页版都率先使用 GNMT,每天负责 1800万次翻译任务。 


谷歌大脑团队表示,GNMT 的上线得益于 TensorFlow和深度学习专用加速器张量处理单元(TPU),尤其是后者,提供了足够的计算能力来部署这些功能强大的 GNMT 系统,同时满足谷歌产品严格的延迟要求。谷歌大脑团队表示,今后的几个月里将持续推出更多的语种服务用户。


机器翻译的挑战仍然存在。GNMT 还是可能会犯一些人类绝对不会犯的错,比如漏译、误译专有名词或罕见词,翻译时没有考虑到整段话乃至全文的意思。总之,GNMT 有待改善的地方还有很多,但无论如何,GNMT 都代表了一座重大的里程碑。他们感谢过去几年中谷歌内外以各种形式参与这项工作的研究人员和工程师。


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
谷歌最新技术在将英语翻译为西班牙语时,最高将准确率提高到 87%


现在谷歌翻译在中国已经可以使用,这被认为是谷歌计划回归中国的前哨。



 谷歌成为“被超越者”,巨头纷争促进商业化



看到机器翻译巨大价值的绝非只有谷歌,中国的百度、华为、阿里和腾讯都有研究,Facebook 和微软等巨头也没有落后。这一种竞争态势,将会最大程度地推进机器翻译的商业化部署,进而变得对更多的人“可用”。


1. 百度:比谷歌早一年,口译领先


12月21日,百度举行机器翻译技术开放日。负责人吴华博士说,谷歌翻译在基于统计的机器翻译上做得很好,处于领先地位,但是在基于神经网络的机器翻译上,百度走在了前面。并且,谷歌翻译是以英语为中心的,百度翻译的中心是中文。另外,在语音的翻译上,百度要领先一些。


在接受新智元的专访时,她说:“谷歌翻译是处在一个领先地位的,但我们的优势在于,在基于神经网络的技术上,我们是有点领先的。谷歌翻译发新闻通稿,里面也引用了我们很多之前发表的一些文章,这个大家如果关注的话可以查到。在神经网络这条线上我们是走在前面的,虽然他们在统计翻译里还是走在前面的。”


她还补充道:“在线上的翻译系统里,我们在口语翻译上实际上是明显超越谷歌的,这一点大家可以随便去试试看看。”


2. 华为:与谷歌翻译持平,提高译文重视度


华为诺亚方舟实验室在他们一篇被 AAAI 2017 录用的论文里提出了一个新的神经机器翻译(NMT)模型,引入基于重构的忠实度指标,结果显示该模型确实有效提高了机器翻译的表现。华为诺亚方舟实验室的研究人员表示,他们的 NMT 技术与谷歌持平。


研究员在同一测试数据集上对谷歌、微软必应、及诺亚的系统做了评测(百度翻译因为直接记录了该测试集,无法直接比较),结果如下图所示。指标是业界标准 BLEU 点,一般来说人的 BLEU 值在50-70之间。


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=


谷歌系统比诺亚系统高大概3个 BLEU 点。研究员分析,这主要是因为谷歌系统集成了业界多种最新技术(包括诺亚的 Coverage 技术),以及使用了更大的训练数据集(据说数亿句对 vs. 一百万句对)。其实他们在方法上的创新并不多。可以说诺亚的基本技术与谷歌是持平的。


3. Facebook 使用CNN技术而非传统的RNN,翻译速度比谷歌快9倍


Facebook今天发布了一项新的机器翻译技术,使用CNN技术而非传统的RNN,在翻译准确度超越了此前被认为是2016年10大AI突破技术的谷歌机器翻译,并且翻译速度上快了9倍。Facebook称,创下新的世界纪录。目前,这一技术已经开源。


Facebook 在官方博客中称,他们的技术在机器翻译峰会(WMT)所提供的公共基准数据集上,相比RNNs2,取得了新的最高水准。特别是,基于CNN 的模型准确度也超越了被用于评判机器翻译准确度的业界广泛认可的数据集WMT2014 英语-法语翻译任务中的历史记录 1.5 BLEU。在 WMT 2014 英语-德语的翻译中,提升是0.4 BLEU,WMT 2016英语-罗马尼亚语,提升到1.8BLEU。

 

基于神经网络的机器翻译技术要用于实践,其中的一个考虑的要素是,在我们把一句话输入系统以后,需要花多长时间,才能获得相应的翻译。 FAIR 的 CNN 模型在计算上是非常高效的,比企鹅比最强的RNN系统要快9倍。有很多的研究一直的着眼于如何通过量化权重或者精馏(distillation)的来提升速度,这些方法同样也能被用到CNN的模型中,来提升速度,甚至还能提升更多。这意味着,CNN 有着巨大的潜力


4. 阿里巴巴:一年2500亿次调用,节省25亿美元


阿里翻译团队自2016年10月起正式开始自主研发NMT模型,2016年11月首次将NMT系统的输出结果应用在中英消息通讯场景下的外部评测中并取得了不错的成绩,翻译质量有了大幅度提升。


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=


在2017年4月份的英俄电商翻译质量优化项目中,分布式NMT系统大大提高了训练速度,使模型训练时间从20天缩短到了4天,为项目整体迭代和推进节省了很多时间成本。


学术界的百花齐放:争鸣的研究为翻译应用提供坚实的技术支撑


学术界对神经机器翻译(NMT)的研究兴趣不减。今年到5月份为止,在开放存取论文网站 arXiv.org 上发表的有关 NMT 的研究论文数量几乎相当于2016年全年的该主题论文数量。研究领域的火热,对于提供商业可用的翻译技术提供了最强大的技术支撑。


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

截至5月7日,arXiv.org 存储库中在标题或摘要中包含 NMT 的论文共有137篇,其中2014年发表的只有7篇,2015年增加到11篇。发生突破的是2016年,发表的论文达到67篇。


腾讯今年有两篇论文贡献出来。 一篇来自其深圳的 AI Lab(《神经机器翻译源句法建模》(Modeling Source Syntax for Neural Machine Translation)); 另一篇,来自腾讯移动互联网部门(《使用线性关联单位的深度神经机器翻译》(Deep Neural Machine Translation with Linear Associative Unit)),这是和苏州大学、中国科学院及都柏林大学的联合研究。


北京的微软亚洲研究院今年也开始进行 NMT 方面的研究。本月刚上传了两篇论文(《对抗神经机器翻译》(Adversarial Neural Machine Translation)和《MAT:图像字幕多模态转换器》(MAT: A Multimodal Attentive Translator for Image Captioning))。


  • 谷歌论文:https://arxiv.org/abs/1703.03906

  • 哈佛大学论文:https://arxiv.org/abs/1701.02810

  • Facebook 论文:https://s3.amazonaws.com/fairseq/papers/convolutional-sequence-to-sequence-learning.pdf

  • 腾讯论文:https://arxiv.org/abs/1705.01020

  • 中国移动论文:https://arxiv.org/abs/1705.00861

  • 微软论文:https://arxiv.org/abs/1704.06933 



应用层面的机器翻译:目前胜在免费和速度



就在柯洁与AlphaGo进行第三场比赛的那一天。韩国科学技术院的生物与大脑工程教授 Jung Jae-seung 在一场名为“人工智能与翻译的未来”的论坛上说,AI 驱动的翻译将会承担大量现有人类翻译所做的工作。

 

“如果能理解不同语言之间的文化,并为之产生最好的相应文本,就可以定义为好的翻译的话,基于人工智能的翻译因为能够从不同的文化中搜集大量的数据,所以肯定在最后会超越人类”,他说。


他还提到了今年2月,国际翻译协会(International Interpretation and Translation Association)组织的一场人机翻译竞赛。那场比赛得出的结果是,如果忽视速度和成本,人目前在翻译的准确度上确实比机器更高一筹。


“我们不应该认为这一差距在未来还会持续”,Jung 说,“虽然很难接受,但是考虑到有充足的数据,谷歌等科技公司会有巨大的优势。正如AlphaGo 击败了李世石一样,我们都不知道它到底有没有理解游戏规则。AI 驱动的翻译可能也会直接跳跃过理解句子的阶段,在翻译上超越人类”。


AI 驱动的翻译目前最大的好处在于免费和速度快。“如果AI 驱动的翻译准确率能达到93%,而几乎不需要付出什么成本,并且速度极快。那么,人们会在大多数的翻译场景下使用它”,Jung说。


在口译领域,同样的颠覆性变革也正在发生,在这一行业中,速度的重要性远比笔译要高。AI 驱动的翻译能够以词对词的速度实时翻译人们的讲话,并且同时提供声音和字母,现在,机器可以翻译的语言有几十种。

 

但是,Jung还表示,AI 驱动的翻译也有一些积极的方面,它可以帮助人类翻译的发展。 “通过分析 AI 驱动的翻译的各种特征并确定其优缺点,翻译人员可以更有效地工作。翻译和口译院系需要积极主动地将AI驱动的翻译纳入课程。“他说。

 

未来,翻译会走向何方?Jung 的总结是,“个性化”和“创业思维”,当涉及高水平的语言,比如文学时,由于数据的缺乏AI 驱动的翻译可能不会做得那么好。翻译者应该强调自己的人性,在翻译中增加个性化的东西,增加翻译的可读性。


他说:“我们现在所处的时代,机器会不断地无情地拷问我们——你的工作有什么价值?它是否富有创造性?翻译员需要找一个新的方式来做贡献,这与此前有很大的不一样。


文章转自新智元公众号,原文链接

这篇关于【深度】AI 入侵翻译,神经机器翻译进化让巴别塔7年内成真的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/599359

相关文章

揭秘未来艺术:AI绘画工具全面介绍

📑前言 随着科技的飞速发展,人工智能(AI)已经逐渐渗透到我们生活的方方面面。在艺术创作领域,AI技术同样展现出了其独特的魅力。今天,我们就来一起探索这个神秘而引人入胜的领域,深入了解AI绘画工具的奥秘及其为艺术创作带来的革命性变革。 一、AI绘画工具的崛起 1.1 颠覆传统绘画模式 在过去,绘画是艺术家们通过手中的画笔,蘸取颜料,在画布上自由挥洒的创造性过程。然而,随着AI绘画工

一份LLM资源清单围观技术大佬的日常;手把手教你在美国搭建「百万卡」AI数据中心;为啥大模型做不好简单的数学计算? | ShowMeAI日报

👀日报&周刊合集 | 🎡ShowMeAI官网 | 🧡 点赞关注评论拜托啦! 1. 为啥大模型做不好简单的数学计算?从大模型高考数学成绩不及格说起 司南评测体系 OpenCompass 选取 7 个大模型 (6 个开源模型+ GPT-4o),组织参与了 2024 年高考「新课标I卷」的语文、数学、英语考试,然后由经验丰富的判卷老师评判得分。 结果如上图所

AI儿童绘本创作

之前分享过AI儿童绘画的项目,但是主要问题是角色一致要花费很长的时间! 今天发现了这款,非常奈斯! 只需输入故事主题、风格、模板,软件就会自动创作故事内容,自动生成插画配图,自动根据模板生成成品,测试效果如下图。 变现方式:生成儿童绘本发布到各平台,吸引宝妈群体进私域。  百度网盘 请输入提取码百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全

人工和AI大语言模型成本对比 ai语音模型

这里既有AI,又有生活大道理,无数渺小的思考填满了一生。 上一专题搭建了一套GMM-HMM系统,来识别连续0123456789的英文语音。 但若不是仅针对数字,而是所有普通词汇,可能达到十几万个词,解码过程将非常复杂,识别结果组合太多,识别结果不会理想。因此只有声学模型是完全不够的,需要引入语言模型来约束识别结果。让“今天天气很好”的概率高于“今天天汽很好”的概率,得到声学模型概率高,又符合表达

智能客服到个人助理,国内AI大模型如何改变我们的生活?

引言 随着人工智能(AI)技术的高速发展,AI大模型越来越多地出现在我们的日常生活和工作中。国内的AI大模型在过去几年里取得了显著的进展,不少独创的技术点和实际应用令人瞩目。 那么,国内的AI大模型有哪些独创的技术点?它们在实际应用中又有哪些出色表现呢?此外,普通人又该如何利用这些大模型提升工作和生活的质量和效率呢?本文将为你一一解析。 一、国内AI大模型的独创技术点 多模态学习 多

【新闻】AI程序员要来了吗?阿里云官宣

内容提要 6 月 21 日,在阿里云上海 AI 峰会上,阿里云宣布推出首个AI 程序员。 据介绍,这个AI程序员具备架构师、开发工程师、测试工程师等多种岗位的技能,能一站式自主完成任务分解、代码编写、测试、问题修复、代码提交整个过程,最快分钟级即可完成应用开发,大幅提升研发效率。 近段时间以来,有关AI的实践应用突破不断,全球开发者加速研发步伐。有业内人士坦言,随着大模型性能逐渐提升,AI应

AI元宇宙

随着科技的迅猛发展,人工智能(AI)迎来了一个宇宙大爆发的时代。特别是以GPT为代表的生成式大模型的诞生和不断进步,彻底改变了人们的工作和生活方式。程序员与AI协同工作写代码已成为常态,大模型不仅提高了工作效率,还为人类带来了无限的可能性。 AI元宇宙http://ai.toolxq.com/#/如同生物进化出眼睛打开了三维世界的元宇宙之后,GPT打开了人+AI工作模式的新时代,程序员的人生被划

AI学习指南机器学习篇-朴素贝叶斯处理连续特征和离散特征

AI学习指南机器学习篇-朴素贝叶斯处理连续特征和离散特征 在机器学习领域,朴素贝叶斯是一种常用的分类算法,它的简单性和高效性使得它在实际应用中得到了广泛的应用。然而,在使用朴素贝叶斯算法进行分类时,我们通常会面临一个重要的问题,就是如何处理连续特征和离散特征。因为朴素贝叶斯算法基于特征的条件独立性假设,所以对于不同类型的特征,我们需要采取不同的处理方式。 在本篇博客中,我们将探讨如何有效地处理

AI赋能天气:微软研究院发布首个大规模大气基础模型Aurora

编者按:气候变化日益加剧,高温、洪水、干旱,频率和强度不断增加的全球极端天气给整个人类社会都带来了难以估计的影响。这给现有的天气预测模型提出了更高的要求——这些模型要更准确地预测极端天气变化,为政府、企业和公众提供更可靠的信息,以便做出及时的准备和响应。为了应对这一挑战,微软研究院开发了首个大规模大气基础模型 Aurora,其超高的预测准确率、效率及计算速度,实现了目前最先进天气预测系统性能的显著

AI炒股:自动画出A股股票的K线图并添加技术指标

在deepseek中输入提示词: 你是一个Python编程专家,要完成一个编写Python脚本的任务,具体步骤如下: 用AKShare库获取股票贵州茅台(股票代码:600519)在2024年3月7日到2024年6月5日期间的历史行情数据-前复权。 然后绘制K线图,并在K线图上添加布林线、MACD 注意: 每一步都要输出信息到屏幕上; 日期格式是YYYYMMDD; 设置中文字体,以解决