GPT-SoVits:刚上线就获得了5.1k star的开源声音克隆项目!效果炸裂的跨语言音色克隆模型!

本文主要是介绍GPT-SoVits:刚上线就获得了5.1k star的开源声音克隆项目!效果炸裂的跨语言音色克隆模型!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上周,RVC变声器创始人 (GitHub昵称:RVC-Boss) 开源了一款跨语言音色克隆项目 GPT-SoVITS。项目一上线就引来了互联网大佬和博主的好评推荐,不到两天时间就已经在GitHub上获得了1.4k Star量,不过现在已经飙升到了5.1k

据说,该项目是RVC-BossRcell (AI音色转换技术Sovits开发者)共同研究,历时半年,期间遇到了很多难题而开发出来的一款全新的低成本的易用的音色克隆工具。

接下来小编带大家一起看看这款新型的音色克隆工具RVC-Boss有何特别之处!

项目介绍

GPT-SoVITS 是一款强大的支持少量语音转换、文本到语音的音色克隆模型。支持中文、英文、日文的语音推理。

据开发者及各大博主测验,仅需提供 5 秒语音样本即可体验达到 80%~95% 像的声音克隆。若提供 1 分钟语音样本可以逼近真人的效果,且训练出高质量的 TTS 模型!

项目地址:https://github.com/RVC-Boss/GPT-SoVITS

目前已获得 5.1k Star,看到很多人对其评价为目前最强中文语音克隆工具。

特征:
  • 零样本 TTS:输入 5 秒语音样本并体验即时文本到语音转换。

  • Few-shot TTS:仅用 1 分钟的训练数据即可微调模型,以提高语音相似度和真实感。

  • 跨语言支持:用与训练数据集不同的语言进行推理,目前支持英语、日语和中文。

  • WebUI工具:集成工具包括语音伴奏分离、自动训练集分割、中文ASR和文本标注,帮助初学者创建训练数据集和GPT/SoVITS模型。

使用方式

如果是 Windows 可直接开箱使用。

只需下载项目中的 prezip,解压并双击 go-webui.bat文件 即可启动 GPT-SoVITS-WebUI,然后通过界面方式操作即可。

项目环境依赖:

GPT-SoVITS 依赖于开源音视频全能转码工具 FFmpeg。这个需要我们根据不同的系统进行手动安装。

conda 环境安装:

conda install ffmpeg

Ubuntu/Debian 用户:

sudo apt install ffmpeg   
sudo apt install libsox-dev   
conda install -c conda-forge 'ffmpeg<7'

Mac 操作系统用户:

brew install ffmpeg

Windows操作系统用户:

需手动下载ffmpeg.exe和ffprobe.exe并将其放置在 GPT-SoVITS 根目录下。

ffmpeg.exe下载地址:https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/ffmpeg.exe

ffprobe.exe下载地址:https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/ffprobe.exe

预训练模型下载放置位置:

具体使用步骤:

1、打开项目根目录,将预置克隆音频放置根目录,然后双击go-webui.bat 运行项目。(可以发现它实际上执行了Python脚本webui.py)

2、语音切割演示,将音频文件路径填入“音频自动切分输入路径”下,点击“开启语音切割”

最终的切分结果会存放在项目Output下的slicer_opt目录下(切分成了20份)

3、开始转写,将切分路径填入“中文批量离线ASR工具”输入路径下,转写结果文件会在Output下的asr_opt目录下生成

4、切换到GPT-SoVITS-TTS标签,填写模型名称(角色名),再分别填入之前生成的切分目录和转写目录路径,开启文本获取-开启SSL提取-语义Token提取(这3个步骤,一步一步来,一个完成之后再点击下一个),最后开启一键三连

然后转到“微调训练”,设置适合自己显卡的显存,“开启SoVits训练”,然后SoVits训练结束后,再“开启GPT训练”

5、选择“推理”标签栏,设置GPT和SoVits的模型,勾选“是否开启TTS推理WebUI”,等一会回自动跳转到一个新的“推理界面”

5、填写参考音频信息(音频文件、音频文本、语种)、合成音频信息(音频文本,语音),点击合成语音,最后就完成了语音转换。

总结

GPT-SoVITS 支持跨语言,集成了声音伴奏分离、自动训练集分割、中文ASR和文本标注等辅助工具。

仅需1分钟的训练数据,即可微调模型,提高语音相似性和真实感。

整体的体验还想相当不错的,希望未来应用的领域会越来越多,更新迭代会越来越完善。

这篇关于GPT-SoVits:刚上线就获得了5.1k star的开源声音克隆项目!效果炸裂的跨语言音色克隆模型!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/651800

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

一文教你如何将maven项目转成web项目

《一文教你如何将maven项目转成web项目》在软件开发过程中,有时我们需要将一个普通的Maven项目转换为Web项目,以便能够部署到Web容器中运行,本文将详细介绍如何通过简单的步骤完成这一转换过程... 目录准备工作步骤一:修改​​pom.XML​​1.1 添加​​packaging​​标签1.2 添加

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

springboot集成Deepseek4j的项目实践

《springboot集成Deepseek4j的项目实践》本文主要介绍了springboot集成Deepseek4j的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价... 目录Deepseek4j快速开始Maven 依js赖基础配置基础使用示例1. 流式返回示例2. 进阶

C语言中的数据类型强制转换

《C语言中的数据类型强制转换》:本文主要介绍C语言中的数据类型强制转换方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C语言数据类型强制转换自动转换强制转换类型总结C语言数据类型强制转换强制类型转换:是通过类型转换运算来实现的,主要的数据类型转换分为自动转换

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

C语言实现两个变量值交换的三种方式

《C语言实现两个变量值交换的三种方式》两个变量值的交换是编程中最常见的问题之一,以下将介绍三种变量的交换方式,其中第一种方式是最常用也是最实用的,后两种方式一般只在特殊限制下使用,需要的朋友可以参考下... 目录1.使用临时变量(推荐)2.相加和相减的方式(值较大时可能丢失数据)3.按位异或运算1.使用临时

使用C语言实现交换整数的奇数位和偶数位

《使用C语言实现交换整数的奇数位和偶数位》在C语言中,要交换一个整数的二进制位中的奇数位和偶数位,重点需要理解位操作,当我们谈论二进制位的奇数位和偶数位时,我们是指从右到左数的位置,本文给大家介绍了使... 目录一、问题描述二、解决思路三、函数实现四、宏实现五、总结一、问题描述使用C语言代码实现:将一个整

SpringBoot项目启动报错"找不到或无法加载主类"的解决方法

《SpringBoot项目启动报错找不到或无法加载主类的解决方法》在使用IntelliJIDEA开发基于SpringBoot框架的Java程序时,可能会出现找不到或无法加载主类com.example.... 目录一、问题描述二、排查过程三、解决方案一、问题描述在使用 IntelliJ IDEA 开发基于