微软TTS最新模型,发布9种更真实的AI语音

2024-06-21 08:12

本文主要是介绍微软TTS最新模型,发布9种更真实的AI语音,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

很高兴与大家分享 Azure AI 语音翻译产品套件的两个重大更新:

视频翻译和增强的实时语音翻译 API。

视频翻译(批量)

今天,我们宣布推出视频翻译预览版,这是一项突破性的服务,旨在改变企业本地化视频内容的方式。随着全球市场对可访问且引人入胜的视频内容的需求不断增长,视频翻译提供了一种无缝解决方案来克服语言障碍。此次发布包括 Azure Speech,客户可以使用自己的视频资产进行试用,并具有以下交钥匙功能:

  • 对话提取和翻译字幕生成
  • GPT 重新表述,提高了翻译质量并实现了自动时间对齐
  • 预建神经语音,可进行内容编辑,以便手动进行精确对齐和翻译偏好设置
  • 使用个人语音功能(有有限的访问限制)

相应的视频翻译API也即将推出,可以先联系马上获得API早期访问权。视频翻译的客户场景

视频翻译通过授权的视频内容为广泛的商业场景释放商业价值,例如:

  • 电视节目、电影和纪录片:电影制片厂和制作公司可以翻译电影和电视节目以进行国际发行,从而覆盖更广泛的观众并最大限度地提高收入潜力。
  • 教育培训材料视频:教育机构和/或培训项目可以翻译和配音学习视频材料,为全球观众提供准确及时的信息。
  • 广告和营销视频:企业可以本地化他们的广告和营销视频,以引起不同市场目标受众的共鸣,提高品牌知名度和客户参与度。

视频翻译的语言覆盖范围

视频翻译支持下表中的语言对:

源语言目标语言
印地语英语
西班牙语英语
中国人英语
韩国人英语
英语印地语
英语西班牙语
英语中国人
英语意大利语
英语德语
英语俄语

我们还计划在未来的版本中迅速扩大我们的语言覆盖范围。

多语言语音翻译(实时)

除了视频翻译之外,我们还很高兴地宣布推出自动多语言语音翻译,这是我们实时语音翻译 API的一项重大增强。此次发布包含一系列新功能,可实现以前无法实现的更高级别的翻译功能:

  • 最大的变化是用户不再需要设置输入语言。API 现在允许用户接收多种语言的音频,而无需事先指定所使用的语言。这将使他们能够在可能不知道接收语言的情况下翻译音频,例如为多样化的全球客户群提供服务的联系中心。我们非常高兴推出此功能,因为它将为多语言用例开辟一个全新的可能性世界。
  • 除了接收翻译后的音频外,用户还可以通过语言识别 (LID) 支持了解输入音频中使用的语言。虽然模型仍以端到端方式运行,能够处理多种语言,但用户仍然可以收到会话期间使用的每种语言的列表。这对于文档目的或有多个发言者的场景(如多语言会议)非常有用。
  • 语音翻译服务现在还能够在同一会话中处理语言切换。我们允许用户接收多种语言的输入音频,并将它们全部翻译并输出为目标语言。无需设置输入语言,也无需在语言更改时进行新的 API 调用,同一会话可以自动处理语言更改并输出所需语言的翻译。这对于经常在多种母语之间切换的用户,或在商业或教育环境中的多语言会议中,将非常有用,这是一个非常令人兴奋的功能,将创造新的翻译能力水平。

实时语音翻译的客户场景

以下是多语言语音翻译实现的一些以前不可能实现的新客户场景:

  • 日常生活中的翻译:想象一下,您正在纽约这样一个多元化的城市中行走,一个外国人向您走来。他们开始用自己的语言向您询问一些事情,但您不仅不知道他们在说什么,甚至不知道他们在说什么语言。通过将我们的 API 集成到翻译移动应用程序等解决方案中,您不仅会知道用户在说什么语言,还会收到完整的文本翻译(如果您选择,还可以收到音频),让您可以自由地与这个人交流,就像完全没有语言障碍一样。
  • 视频实时翻译字幕:假设您正在尝试法国菜,并想跟着厨师制作红酒炖牛肉的视频一起看 — 全部用法语(您不会说法语)。使用由 Azure 语音翻译 API 提供支持的翻译移动应用,您现在可以播放视频并获得流式翻译字幕,就像厨师在实时教您一样!
  • 多语言会议:真正展示新多语言模型强大功能的独特用例是多语言母语人士参加的会议。假设有这样一种情况,例如外交会议,来自许多国家的代表正在相互交谈。如果他们都启用了我们的 API,他们就可以自由地互相交谈,进行自然的对话,而不必担心语言障碍。该 API 可以自动处理语言切换,并仍翻译成目标语言。即使多种语言的使用者都在同一个房间里,也可以实现无缝对话。

从上述场景可以看出,多语言语音翻译开辟了新的可能性,而这些可能性以前是繁琐、低效或完全不可能的。

多语言语音翻译的语言支持

在公开预览版中,多语言语音翻译将提供输入语言。这意味着这些是 API 将自动检测并从输入之间切换的语言。输出(目标)语言仍然可以是Azure 语音翻译服务支持的任何语言。40 种输入语言如下(以及语言代码):

  • 阿拉伯语 (ar)、巴斯克语 (eu)、波斯尼亚语 (bs)、保加利亚语 (bg)、简体中文 (zh)、繁体中文 (zhh)、捷克语 (cs)、丹麦语 (da)、荷兰语 (nl)、英语 (en)、爱沙尼亚语 (et)、芬兰语 (fi)、法语 (fr)、加利西亚语 (gl)、德语 (de)、希腊语 (el)、印地语 (hi)、匈牙利语 (hu)、印尼语 (id)、意大利语 (it)、日语 (ja)、韩语 (ko)、拉脱维亚语 (lv)、立陶宛语 (lt)、马其顿语 (mk)、挪威语 (nb)、波兰语 (pl)、葡萄牙语 (pt)、罗马尼亚语 (ro)、俄语 (ru)、塞尔维亚语 (sr)、斯洛伐克语 (sk)、斯洛文尼亚语 (sl)、西班牙语 (es)、瑞典语 (sv)、泰语 (th)、土耳其语 (tr)、乌克兰语 (uk)、越南语 (vi) 和威尔士语 (cy)。

在即将推出的版本中,我们计划支持语音翻译支持的所有输入语言。语言和区域设置支持将不断更新和扩展,以使我们的模型更易于所有人使用。

 目前企业需要通过微软官方合作伙伴获取服务,可以合规、稳定地提供企业用户使用Azure AI语音服务的可能,满足国内发票需求。

通过微软官方合作伙伴获取服务,可以合规、稳定地提供企业用户使用ChatGPT的可能,满足国内发票需求,同时也能解决连接不稳定/响应速度慢/并发配额低等问题。

参考链接:
微软 Azure AI服务免费申请试用

使用教程

第一步:注册账号进入官网:

https://azure.microsoft.com/zh-cn/products/ai-services/text-to-speech

点击“免费试用文本转语音”,新用户可获得使用额度,但很少,基本只够测试用

点击“免费开始使用”,这里需要使用微软账号进行登录。

然后进入添加个人信息资料的界面。

手机号验证勾选“其他电话号码”,地区选择中国,然后输入自己的手机号接收验证码即可:

填写完资料后,点击下一步进入信用卡验证,信用卡不会扣费,但要保证里面有1美金才能验证成功。

验证成功后会跳转到Azure主页,点击“转到Azure门户”进入Azure控制台:

第二步:部署语音服务展开左上角菜单栏,打开所有服务:

在所有服务下找到“AI+机器学习”类别,选择语音服务并创建:

创建界面的名称可以随便填,定价层选择“Free F0”,然后点击“审阅并创建”:

继续点击“创建”:

稍等十秒左右语音服务就部署完成了。

第三步:创建语音点击“转到资源”:

继续点击“转到Speech Studio”:

Speech Studio里有很多语音服务,比如“语音转文本”、“语音转字幕”等等,都可以直接使用。

下滑找到文本转语音服务的语音库,点击进入:

在这里我们就可以看到不同国家的各种声音模型,之后Microsoft Azure上新语音模型也会更新到这里。

每个声音模型也都配置了不同的对话场景和情绪,甚至还有各种方言,可以说是目前市面上最全的AI语音库了。

随便点击一个试听一下效果:



,时长00:22

 

效果虽然没法和开头展示的语音效果相媲美,但是已经非常接近真人声音了。

选择好想用的声音模型,点击转到有声内容创作。

把文本内容粘贴到文本框,点击播放按钮就可以进行语音合成。

右侧操作栏可以设置语言、声音模型和说话风格以及气口停顿等等功能,非常齐全。

语音制作完毕之后,点击保存并导出为本地文件,一份文本转语音文件就制作好了。

之后再制作有声读物、小说推文或者是其他有声内容时就可以直接使用Microsoft Azure。无论是声音模型的丰富度还是功能的易用性,Microsoft Azure基本上就相当于语音合成领域的OpenAI。

这篇关于微软TTS最新模型,发布9种更真实的AI语音的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1080671

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了