微软TTS最新模型,发布9种更真实的AI语音

2024-06-21 08:12

本文主要是介绍微软TTS最新模型,发布9种更真实的AI语音,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

很高兴与大家分享 Azure AI 语音翻译产品套件的两个重大更新:

视频翻译和增强的实时语音翻译 API。

视频翻译(批量)

今天,我们宣布推出视频翻译预览版,这是一项突破性的服务,旨在改变企业本地化视频内容的方式。随着全球市场对可访问且引人入胜的视频内容的需求不断增长,视频翻译提供了一种无缝解决方案来克服语言障碍。此次发布包括 Azure Speech,客户可以使用自己的视频资产进行试用,并具有以下交钥匙功能:

  • 对话提取和翻译字幕生成
  • GPT 重新表述,提高了翻译质量并实现了自动时间对齐
  • 预建神经语音,可进行内容编辑,以便手动进行精确对齐和翻译偏好设置
  • 使用个人语音功能(有有限的访问限制)

相应的视频翻译API也即将推出,可以先联系马上获得API早期访问权。视频翻译的客户场景

视频翻译通过授权的视频内容为广泛的商业场景释放商业价值,例如:

  • 电视节目、电影和纪录片:电影制片厂和制作公司可以翻译电影和电视节目以进行国际发行,从而覆盖更广泛的观众并最大限度地提高收入潜力。
  • 教育培训材料视频:教育机构和/或培训项目可以翻译和配音学习视频材料,为全球观众提供准确及时的信息。
  • 广告和营销视频:企业可以本地化他们的广告和营销视频,以引起不同市场目标受众的共鸣,提高品牌知名度和客户参与度。

视频翻译的语言覆盖范围

视频翻译支持下表中的语言对:

源语言目标语言
印地语英语
西班牙语英语
中国人英语
韩国人英语
英语印地语
英语西班牙语
英语中国人
英语意大利语
英语德语
英语俄语

我们还计划在未来的版本中迅速扩大我们的语言覆盖范围。

多语言语音翻译(实时)

除了视频翻译之外,我们还很高兴地宣布推出自动多语言语音翻译,这是我们实时语音翻译 API的一项重大增强。此次发布包含一系列新功能,可实现以前无法实现的更高级别的翻译功能:

  • 最大的变化是用户不再需要设置输入语言。API 现在允许用户接收多种语言的音频,而无需事先指定所使用的语言。这将使他们能够在可能不知道接收语言的情况下翻译音频,例如为多样化的全球客户群提供服务的联系中心。我们非常高兴推出此功能,因为它将为多语言用例开辟一个全新的可能性世界。
  • 除了接收翻译后的音频外,用户还可以通过语言识别 (LID) 支持了解输入音频中使用的语言。虽然模型仍以端到端方式运行,能够处理多种语言,但用户仍然可以收到会话期间使用的每种语言的列表。这对于文档目的或有多个发言者的场景(如多语言会议)非常有用。
  • 语音翻译服务现在还能够在同一会话中处理语言切换。我们允许用户接收多种语言的输入音频,并将它们全部翻译并输出为目标语言。无需设置输入语言,也无需在语言更改时进行新的 API 调用,同一会话可以自动处理语言更改并输出所需语言的翻译。这对于经常在多种母语之间切换的用户,或在商业或教育环境中的多语言会议中,将非常有用,这是一个非常令人兴奋的功能,将创造新的翻译能力水平。

实时语音翻译的客户场景

以下是多语言语音翻译实现的一些以前不可能实现的新客户场景:

  • 日常生活中的翻译:想象一下,您正在纽约这样一个多元化的城市中行走,一个外国人向您走来。他们开始用自己的语言向您询问一些事情,但您不仅不知道他们在说什么,甚至不知道他们在说什么语言。通过将我们的 API 集成到翻译移动应用程序等解决方案中,您不仅会知道用户在说什么语言,还会收到完整的文本翻译(如果您选择,还可以收到音频),让您可以自由地与这个人交流,就像完全没有语言障碍一样。
  • 视频实时翻译字幕:假设您正在尝试法国菜,并想跟着厨师制作红酒炖牛肉的视频一起看 — 全部用法语(您不会说法语)。使用由 Azure 语音翻译 API 提供支持的翻译移动应用,您现在可以播放视频并获得流式翻译字幕,就像厨师在实时教您一样!
  • 多语言会议:真正展示新多语言模型强大功能的独特用例是多语言母语人士参加的会议。假设有这样一种情况,例如外交会议,来自许多国家的代表正在相互交谈。如果他们都启用了我们的 API,他们就可以自由地互相交谈,进行自然的对话,而不必担心语言障碍。该 API 可以自动处理语言切换,并仍翻译成目标语言。即使多种语言的使用者都在同一个房间里,也可以实现无缝对话。

从上述场景可以看出,多语言语音翻译开辟了新的可能性,而这些可能性以前是繁琐、低效或完全不可能的。

多语言语音翻译的语言支持

在公开预览版中,多语言语音翻译将提供输入语言。这意味着这些是 API 将自动检测并从输入之间切换的语言。输出(目标)语言仍然可以是Azure 语音翻译服务支持的任何语言。40 种输入语言如下(以及语言代码):

  • 阿拉伯语 (ar)、巴斯克语 (eu)、波斯尼亚语 (bs)、保加利亚语 (bg)、简体中文 (zh)、繁体中文 (zhh)、捷克语 (cs)、丹麦语 (da)、荷兰语 (nl)、英语 (en)、爱沙尼亚语 (et)、芬兰语 (fi)、法语 (fr)、加利西亚语 (gl)、德语 (de)、希腊语 (el)、印地语 (hi)、匈牙利语 (hu)、印尼语 (id)、意大利语 (it)、日语 (ja)、韩语 (ko)、拉脱维亚语 (lv)、立陶宛语 (lt)、马其顿语 (mk)、挪威语 (nb)、波兰语 (pl)、葡萄牙语 (pt)、罗马尼亚语 (ro)、俄语 (ru)、塞尔维亚语 (sr)、斯洛伐克语 (sk)、斯洛文尼亚语 (sl)、西班牙语 (es)、瑞典语 (sv)、泰语 (th)、土耳其语 (tr)、乌克兰语 (uk)、越南语 (vi) 和威尔士语 (cy)。

在即将推出的版本中,我们计划支持语音翻译支持的所有输入语言。语言和区域设置支持将不断更新和扩展,以使我们的模型更易于所有人使用。

 目前企业需要通过微软官方合作伙伴获取服务,可以合规、稳定地提供企业用户使用Azure AI语音服务的可能,满足国内发票需求。

通过微软官方合作伙伴获取服务,可以合规、稳定地提供企业用户使用ChatGPT的可能,满足国内发票需求,同时也能解决连接不稳定/响应速度慢/并发配额低等问题。

参考链接:
微软 Azure AI服务免费申请试用

使用教程

第一步:注册账号进入官网:

https://azure.microsoft.com/zh-cn/products/ai-services/text-to-speech

点击“免费试用文本转语音”,新用户可获得使用额度,但很少,基本只够测试用

点击“免费开始使用”,这里需要使用微软账号进行登录。

然后进入添加个人信息资料的界面。

手机号验证勾选“其他电话号码”,地区选择中国,然后输入自己的手机号接收验证码即可:

填写完资料后,点击下一步进入信用卡验证,信用卡不会扣费,但要保证里面有1美金才能验证成功。

验证成功后会跳转到Azure主页,点击“转到Azure门户”进入Azure控制台:

第二步:部署语音服务展开左上角菜单栏,打开所有服务:

在所有服务下找到“AI+机器学习”类别,选择语音服务并创建:

创建界面的名称可以随便填,定价层选择“Free F0”,然后点击“审阅并创建”:

继续点击“创建”:

稍等十秒左右语音服务就部署完成了。

第三步:创建语音点击“转到资源”:

继续点击“转到Speech Studio”:

Speech Studio里有很多语音服务,比如“语音转文本”、“语音转字幕”等等,都可以直接使用。

下滑找到文本转语音服务的语音库,点击进入:

在这里我们就可以看到不同国家的各种声音模型,之后Microsoft Azure上新语音模型也会更新到这里。

每个声音模型也都配置了不同的对话场景和情绪,甚至还有各种方言,可以说是目前市面上最全的AI语音库了。

随便点击一个试听一下效果:



,时长00:22

 

效果虽然没法和开头展示的语音效果相媲美,但是已经非常接近真人声音了。

选择好想用的声音模型,点击转到有声内容创作。

把文本内容粘贴到文本框,点击播放按钮就可以进行语音合成。

右侧操作栏可以设置语言、声音模型和说话风格以及气口停顿等等功能,非常齐全。

语音制作完毕之后,点击保存并导出为本地文件,一份文本转语音文件就制作好了。

之后再制作有声读物、小说推文或者是其他有声内容时就可以直接使用Microsoft Azure。无论是声音模型的丰富度还是功能的易用性,Microsoft Azure基本上就相当于语音合成领域的OpenAI。

这篇关于微软TTS最新模型,发布9种更真实的AI语音的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1080671

相关文章

揭秘未来艺术:AI绘画工具全面介绍

📑前言 随着科技的飞速发展,人工智能(AI)已经逐渐渗透到我们生活的方方面面。在艺术创作领域,AI技术同样展现出了其独特的魅力。今天,我们就来一起探索这个神秘而引人入胜的领域,深入了解AI绘画工具的奥秘及其为艺术创作带来的革命性变革。 一、AI绘画工具的崛起 1.1 颠覆传统绘画模式 在过去,绘画是艺术家们通过手中的画笔,蘸取颜料,在画布上自由挥洒的创造性过程。然而,随着AI绘画工

一份LLM资源清单围观技术大佬的日常;手把手教你在美国搭建「百万卡」AI数据中心;为啥大模型做不好简单的数学计算? | ShowMeAI日报

👀日报&周刊合集 | 🎡ShowMeAI官网 | 🧡 点赞关注评论拜托啦! 1. 为啥大模型做不好简单的数学计算?从大模型高考数学成绩不及格说起 司南评测体系 OpenCompass 选取 7 个大模型 (6 个开源模型+ GPT-4o),组织参与了 2024 年高考「新课标I卷」的语文、数学、英语考试,然后由经验丰富的判卷老师评判得分。 结果如上图所

AI儿童绘本创作

之前分享过AI儿童绘画的项目,但是主要问题是角色一致要花费很长的时间! 今天发现了这款,非常奈斯! 只需输入故事主题、风格、模板,软件就会自动创作故事内容,自动生成插画配图,自动根据模板生成成品,测试效果如下图。 变现方式:生成儿童绘本发布到各平台,吸引宝妈群体进私域。  百度网盘 请输入提取码百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全

大语言模型(LLMs)能够进行推理和规划吗?

大语言模型(LLMs),基本上是经过强化训练的 n-gram 模型,它们在网络规模的语言语料库(实际上,可以说是我们文明的知识库)上进行了训练,展现出了一种超乎预期的语言行为,引发了我们的广泛关注。从训练和操作的角度来看,LLMs 可以被认为是一种巨大的、非真实的记忆库,相当于为我们所有人提供了一个外部的系统 1(见图 1)。然而,它们表面上的多功能性让许多研究者好奇,这些模型是否也能在通常需要系

人工和AI大语言模型成本对比 ai语音模型

这里既有AI,又有生活大道理,无数渺小的思考填满了一生。 上一专题搭建了一套GMM-HMM系统,来识别连续0123456789的英文语音。 但若不是仅针对数字,而是所有普通词汇,可能达到十几万个词,解码过程将非常复杂,识别结果组合太多,识别结果不会理想。因此只有声学模型是完全不够的,需要引入语言模型来约束识别结果。让“今天天气很好”的概率高于“今天天汽很好”的概率,得到声学模型概率高,又符合表达

智能客服到个人助理,国内AI大模型如何改变我们的生活?

引言 随着人工智能(AI)技术的高速发展,AI大模型越来越多地出现在我们的日常生活和工作中。国内的AI大模型在过去几年里取得了显著的进展,不少独创的技术点和实际应用令人瞩目。 那么,国内的AI大模型有哪些独创的技术点?它们在实际应用中又有哪些出色表现呢?此外,普通人又该如何利用这些大模型提升工作和生活的质量和效率呢?本文将为你一一解析。 一、国内AI大模型的独创技术点 多模态学习 多

【新闻】AI程序员要来了吗?阿里云官宣

内容提要 6 月 21 日,在阿里云上海 AI 峰会上,阿里云宣布推出首个AI 程序员。 据介绍,这个AI程序员具备架构师、开发工程师、测试工程师等多种岗位的技能,能一站式自主完成任务分解、代码编写、测试、问题修复、代码提交整个过程,最快分钟级即可完成应用开发,大幅提升研发效率。 近段时间以来,有关AI的实践应用突破不断,全球开发者加速研发步伐。有业内人士坦言,随着大模型性能逐渐提升,AI应

OpenCompass:大模型测评工具

大模型相关目录 大模型,包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容 从0起步,扬帆起航。 大模型应用向开发路径:AI代理工作流大模型应用开发实用开源项目汇总大模型问答项目问答性能评估方法大模型数据侧总结大模型token等基本概念及参数和内存的关系大模型应用开发-华为大模型生态规划从零开始的LLaMA-Factor

模型压缩综述

https://www.cnblogs.com/shixiangwan/p/9015010.html

WordPress网创自动采集并发布插件

网创教程:WordPress插件网创自动采集并发布 阅读更新:随机添加文章的阅读数量,购买数量,喜欢数量。 使用插件注意事项 如果遇到404错误,请先检查并调整网站的伪静态设置,这是最常见的问题。需要定制化服务,请随时联系我。 本次更新内容 我们进行了多项更新和优化,主要包括: 界面设置:用户现在可以更便捷地设置文章分类和发布金额。代码优化:改进了采集和发布代码,提高了插件的稳定