声临其境!当ChatTTS遇上腾讯云HAI,定制你的专属智能语音服务

本文主要是介绍声临其境!当ChatTTS遇上腾讯云HAI,定制你的专属智能语音服务,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言

「语音」作为人工智能的「启蒙钥匙」,不仅率先踏出实验室大门,步入寻常百姓家,也成为了人类与AI初次触电的「桥接技术」。初期,智能语音技术的研究重心落在了语音识别领域,致力于使机器具备理解人类语言的能力。

回溯历史,AT&T贝尔实验室推出的Audrey系统,作为电子计算机领域的先驱,成功辨识了10个英文数字,开启了这一征程。1988年,李开复博士突破性地构建了首个运用隐马尔可夫模型的大词汇量语音识别系统Sphinx。1997年,Dragon NaturallySpeaking的问世,标志着全球首个供消费者使用的连续语音输入系统的商业化。而至2009年,微软Windows 7操作系统内置的语音功能,进一步普及了该技术。

转捩点发生在2011年,iPhone 4S携Siri登场,智能语音技术由此迈入**「互动」**新纪元。同年,谷歌内部启动了Google语音搜索的测试,预告着这一功能即将登上Google的舞台。

从单纯识别到实现互动,这一跨越为人机交互的繁盛奠定了坚实基础。时至今日,语音交互技术已渗透至智能家居、智能驾驶乃至机器人领域,在AI技术迭代的推动下愈发流畅,应用生态呈现多样化。技术层面,各大云服务提供商通过API形式对外开放其AI语音服务,极大促进了开发者基于此的创新应用开发。

近年来,随着大规模预训练模型的兴起,直接在模型层面上的开放与定制化调整日益受到瞩目。开发者能够通过模型训练与微调,深度优化模型性能,进而提升其在特定应用场景下的部署效能,为语音技术的广泛应用开辟了新的路径。

GPT-SoVITS作为一个标志性的语音合成框架,已经为行业树立了高质量语音生成的标准。它通过深度学习模型,尤其是基于WaveNet和Transformer架构的创新,实现了语音自然度和真实感的显著提升,为用户带来了接近真人的听觉体验,在上线后便获得极高热度,仅需提供 5 秒语音样本,便可收获相似度达到 80%~95% 的克隆语音。

然而,随着技术的不断迭代与需求的日益多元化,ChatTTS作为后起之秀,在继承SoVITS等前辈优点的同时,进一步聚焦于对话场景的优化与个性化表达,能实现更加流畅、连贯及富含情感色彩的语音输出,甚至包括语气词、笑声

下面就让我们从部署开始,深入分析ChatTTS在实际应用中的场景和特点。

腾讯云高性能应用服务 HAI

本次用到的产品是腾讯云高性能应用服务 HAI,这里也稍微介绍一下。

高性能应用服务(Hyper Application Inventor,HAI)是一款面向AI、科学计算的GPU应用服务产品,提供即插即用的澎湃算力与常见环境。助力中小企业及开发者快速部署LLM、AI作画、数据科学等高性能应用,原生集成配套的开发工具与组件,大幅提高应用层的开发生产效率。

其实一开始,我以为这个只是普通的GPU服务器而已,但是看完我才发现,高性能应用服务HAI远不止于此。它不仅仅是一个配备了强大GPU硬件的基础资源平台,更是集成了诸多高级功能和服务的一站式解决方案。它内置了多样化人工智能工具和服务,如深度学习框架、模型训练与优化套件、以及一键式模型部署能力,极大降低了技术门槛,让即便是AI初学者也能迅速上手,将创意转化为现实。

现临近618特惠,领券后即可低价畅享25小时的GPU基础型算力,实话实说,我真冲了,活动入口也放在这里,有兴趣的小伙伴可以尝试一下:https://mc.tencent.com/uMv5GPOh,也可以点击我的链接获取更多优惠内容。

请在此添加图片描述

基于腾讯云高性能应用服务 HAI部署ChatTTS

在购买HAI后,点击进入控制台,新建应用。

请在此添加图片描述

此处分别选择【基础环境】,地域为【上海】,算力方案为GPU【基础型】。

请在此添加图片描述

设置合适的实例名,勾选协议,点击提交即可。

请在此添加图片描述

等待几分钟,可以看到服务器已经创建完毕了。

请在此添加图片描述

点击算力链接—远程链接,或者直接win+R,输入mstsc,链接该服务器。

请在此添加图片描述

账号密码需要到站内信中获取。

请在此添加图片描述

下面我们就正式开始ChatTTS的安装部署了,这里周周也准备了一键包,部署嫌麻烦的可以直接下载一键包使用。

链接:https://pan.baidu.com/s/1yVtXY3uOYDUUuIL_OcjAHg
提取码:f07u

首先是准备安装Python 和 git环境,python需要 3.9+ 版本,大家进入官网选择对应版本即可。

请在此添加图片描述

然后安装下载git环境。

请在此添加图片描述

当以上两个安装完成以后,下载chatTTS-ui

解压之后在根目录下输入CMD进入终端,然后依次执行下面的安装命令:

创建虚拟环境

python -m venv venv

激活创建好的Python虚拟环境,如需关闭可运行 deactivate 命令

.\venv\scripts\activate

开始安装所有指定的软件包及其版本

pip install -r requirements.txt

请在此添加图片描述

下载完成后,这里我们检查一下HAI中的CUDA驱动是否开启。在cmd中执行如下命令:

nvidia-smi

看到类似以下结果,则说明已成功安装 NVIDIA 驱动程序,所以在HAI里面其实是默认开启的,无需关心驱动问题。

请在此添加图片描述

最后执行 python app.py 启动,默认从 modelscope 魔塔下载模型,将自动打开浏览器窗口。

python app.py

请在此添加图片描述

这里需要注意的是,源码部署启动后,会先从 modelscope下载模型,但modelscope缺少 spk_stat.pt ,会报错,需要自己手动下载后将该文件复制到 项目目录/models/pzc163/chatTTS/asset/ 文件夹内 。点击下载

之后访问生成的地址就可以了。

请在此添加图片描述

而对于离线包的部署就简单很多,打开我上面分享的链接,可以看到如下两个安装包:

请在此添加图片描述

其中,上面的为魔改后的强化版本,下面为基础版本。

我们这边先下载基础版本,解压密码为harryai,解压后如下图所示:

请在此添加图片描述

点击启动服务,开始执行:

请在此添加图片描述

随后会自动打开网页如下:

请在此添加图片描述

在生成时,我们也可以在命令栏查看进度。

请在此添加图片描述

【注意】此处需要把HAI中的windows声音打开才可听到效果。

对比GPT-SoVITS ,ChatTTS的语义连续性和个人情感明显表现的更加出色。

但是同时,基础版的一些缺点也进而暴露出来,尤其是在追求极致体验的项目中,音质偶尔的不清晰以及长时间语音合成后音色的不稳定性,成为了不容忽视的短板。

因此,开源大佬们又整出了这个增强版!在对chatTTS生成的音质增强的同时进一步降噪,并且增加了批量txt处理和长文本处理能力。

解压后如下所示:

请在此添加图片描述

点击启动器后稍等一段时间,默认打开如下界面:

请在此添加图片描述

对比普通版本,增强版的优势也是比较明显的。比如我在基础版中输入的春江花月夜,由于字数较长,其语音生成到最后有一些汉字已经无法正常发音了,但在增强版中,我们可以选择文本切割

请在此添加图片描述

下面可以设定对每段文本分割的字数。

请在此添加图片描述

同时勾选分割文本合成语音后,点击生成。

请在此添加图片描述

请在此添加图片描述

此时的效果就比基础版好一些了,但是还是会出现音色变化的情况。所以这时,我们将音频采样温度调整为最小,让其生成的语音音色更加稳定。同时,开启下面的增强和降噪算法

请在此添加图片描述

请在此添加图片描述

大概等待4分钟,此时聆听效果,会极其接近真人的朗诵发音。(这里又换了一个素材,之前的诗句确实还是太长了,杂音很大)

请在此添加图片描述

具体视频效果如下:


腾讯云HAI部署chatTTS增强版效果

那么至此,基于腾讯云高性能应用服务 HAI部署ChatTTS的步骤就结束了。按照目前来看,其实GPT-SoVITS和**ChatTTS,**也还是各有所长的,利用GPT-SoVITS可以训练和生成更加满足个人需求的语音,比如克隆自己的声音,然后用自己的声音唱歌;而ChatTTS的优势则在于其生成的语音极其真实,适合承担如虚拟助理、在线客服、语音聊天机器人这类的职责。

目前ChatTTS其实也没有开源很久,在未来还会做更多优化的,这方面还是可以期待一下。

结尾

站在技术发展的十字路口,ChatTTS与GPT-SoVITS不仅是独立存在的技术创新,更是相互启发、共同推动语音合成领域进步的重要力量。ChatTTS的持续优化和未来的开放性增强,预示着更多的可能性和更广泛的应用空间。

展望未来,我们有理由相信,随着人工智能技术的不断成熟,特别是深度学习模型的进一步优化,以及云计算能力的提升,ChatTTS将在个性化定制、多语言支持、实时交互体验等方面实现质的飞跃。它不仅能够更好地服务于现有的应用场景,还将解锁更多前所未有的使用场景,如沉浸式虚拟现实体验、跨文化交流辅助工具、甚至是残障人士的无障碍沟通解决方案等。

此外,开源精神的核心在于共享与协作,ChatTTS的开源之路无疑将汇聚全球智慧,加速技术创新周期。这不仅仅是技术层面的进步,更是对社会生活方式和工作效率带来深远影响的一场变革。让我们一同期待,在不远的将来,ChatTTS能够携手GPT-SoVITS以及其他同类技术,共同开启一个语音合成技术更加辉煌的新时代,让人工智能的声音温暖并丰富每一个人的生活。

这篇关于声临其境!当ChatTTS遇上腾讯云HAI,定制你的专属智能语音服务的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1034615

相关文章

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展,越来越多的企业开始将其应用于实际业务中。然而,区块链技术的专业性使得其集成开发成为一项挑战。针对此,广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术,提供一套全面的区块链开发工具和开发环境,支持开发者快速开发和部署区块链应用。此外,该平台还可以提供一套全面的区块链开发教程和文档,帮助开发者快速上手区块链开发。

智能交通(二)——Spinger特刊推荐

特刊征稿 01  期刊名称: Autonomous Intelligent Systems  特刊名称: Understanding the Policy Shift  with the Digital Twins in Smart  Transportation and Mobility 截止时间: 开放提交:2024年1月20日 提交截止日

基于 YOLOv5 的积水检测系统:打造高效智能的智慧城市应用

在城市发展中,积水问题日益严重,特别是在大雨过后,积水往往会影响交通甚至威胁人们的安全。通过现代计算机视觉技术,我们能够智能化地检测和识别积水区域,减少潜在危险。本文将介绍如何使用 YOLOv5 和 PyQt5 搭建一个积水检测系统,结合深度学习和直观的图形界面,为用户提供高效的解决方案。 源码地址: PyQt5+YoloV5 实现积水检测系统 预览: 项目背景

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出 在数字化时代,文本到语音(Text-to-Speech, TTS)技术已成为人机交互的关键桥梁,无论是为视障人士提供辅助阅读,还是为智能助手注入声音的灵魂,TTS 技术都扮演着至关重要的角色。从最初的拼接式方法到参数化技术,再到现今的深度学习解决方案,TTS 技术经历了一段长足的进步。这篇文章将带您穿越时

【C++学习笔记 20】C++中的智能指针

智能指针的功能 在上一篇笔记提到了在栈和堆上创建变量的区别,使用new关键字创建变量时,需要搭配delete关键字销毁变量。而智能指针的作用就是调用new分配内存时,不必自己去调用delete,甚至不用调用new。 智能指针实际上就是对原始指针的包装。 unique_ptr 最简单的智能指针,是一种作用域指针,意思是当指针超出该作用域时,会自动调用delete。它名为unique的原因是这个

单片机毕业设计基于单片机的智能门禁系统的设计与实现

文章目录 前言资料获取设计介绍功能介绍程序代码部分参考 设计清单具体实现截图参考文献设计获取 前言 💗博主介绍:✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师,一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设计 主要对象是咱们电子相关专业的大学生,希望您们都共创辉煌!✌💗 👇🏻 精彩专栏 推荐订