手把手教你GPT-SoVITS V2版本模型教程,内附整合包

2024-08-27 20:44

本文主要是介绍手把手教你GPT-SoVITS V2版本模型教程,内附整合包,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

首先需要声明的一点就是V1的模型能用在V2上面,但是V2的模型不能用在V1上,并且V1模型在V2上效果不佳!
整合包下载地址:

GPT-SoVITS V2整合包下载
https://klrvc.com/ GPT-SoVITS V2模型下载网

这次V2更新了以下功能

UVR5:

1.将hp2模型替换为model_bs_roformer_ep_317_sdr_12.9755模型,大幅提升分离人声的效果。

2.新增DeEchoNormal和DeReverb模型。去混响效果Normal<Aggressive

切分&降噪&打标&校对:

1.自动填充路径

2.funasr增加粤语,whisper增加韩语和粤语标注功能。funasr的粤语标注更为准确

3.whisper可选推理精度,float16可以带来更快的推理速度

预处理:

1.中文改为G2PW处理以优化多音字效果,但处理速度变慢了

2.优化了英文多音字效果,处理速度也变快了

训练:

1.全新底膜,训练集增加到5k小时

2.增加韩粤两种语言

3.训练所需数据集更少

推理:

1.zero shot效果大幅增强

2.中日英韩粤5个语种均可跨语种合成

3.对低音质参考音频合成出来音质更好

4.更好的文本前端,中英文加入多音字优化

5.增加语速调节

6.增加音色融合

以上具体的更新内容来自官方给出的信息,这些内容也在后来我使用V2推理得到了验证,其实使用V2和V1并没有什么区别,WEBUI就多了一个降噪功能,其他的都一样。

接下来让我们教大家如何在V2中训练出自己的模型吧。

其中我将省略干音数据集的制作过程,因为这一步非常繁琐,其中包括降噪 和声分离 去混响 音质增强等步骤,有机会我会特别制作一期教程。

如果您是整合包执行下面的代码进入V2和V1

python webui.py <language(optional)>
python webui.py v1 <language(optional)>

其中<language(optional)>做了国际化处理,如果你使用的是云端可以查看这篇文章的教程。https://www.codewithgpu.com/i/RVC-Boss/GPT-SoVITS/GPT-SoVITS-Official

接下来正式进入到我们的图文教程

在这里插入图片描述

打开WEBUI首先第一步就是音频的分离与降噪,如果您之前就已经用其他降噪分离软件处理的话,这一步可以省略,否则必须进行这一步进行分离,这里你只需要设置音频自动切分文件夹或文件,输出目录最好不要再去调整,除非你有足够的耐心,因为所有的步骤,作者都已经默认给你填写了,你只需要填一个输入路径即可。

在这里插入图片描述
这里V2新增了一个语音降噪功能,之前V1版本是没有的,但是也请在这个功能之前先降噪一遍自己的音频,在使用这个功能,之后就是标注我们的文件,这个标注和V1使用的方法是一样的。

在这里插入图片描述

到这一步开始打标,我们需要注意的是你的打标文件的路径,如果不知道自己的项目打标路径可以看看控制台,在ASR自动打标的时候会输出一个路径,填写这个路径即可。

在这里插入图片描述
上面就是控制台输出的打标文件路径,填写之后开启打标WEBUI即可。

在这里插入图片描述
控制台会输出URL地址,复制这个地址在浏览器打开即可进入打标页面

在这里插入图片描述

打标这里需要注意的是这里还是和V1版本一样,首先修改错别字,之后修改停顿点,这里特别重要,会影响最终模型的输出效果,其中[Previous Index]是上一页,[Next Index]是下一页,[Save File]是保存文件,[Submit Text]是重载打标文件。正确的顺序是当我们修改一页的打标后,点击保存文件Save File,之后在进入Next Index下一页,不点保存否则无效。

在这里插入图片描述

之后我们来到推理分页,这里需要设置的就是你的模型文件名以及文本标注路径以及分割后的音频文件目录,这里得填写正确,否则三连的时候会出错,如果你没有修改默认输出目录的话,这一步你就填写个模型名就可以了。

在这里插入图片描述
其他的都不需要动,直接[开启一键三连即可],完成后会自动提示完成。

在这里插入图片描述
点击微调训练,这一步引用作者的原话就是如果您的数据集不是很好,那么这一步默认轮数就可以,否则会物极必反,效果会很差。点击开启训练即可。

在这里插入图片描述
以上是训练完成的最终的输出信息

在这里插入图片描述
训练完成之后,点击刷新模型路径,选择自己训练的模型,也就是你刚刚输入的模型名一个GPT模型列表和SoVITS模型列表,都需要一致才可行。

在这里插入图片描述
点击开启TTS推理WEBUI后在控制台会输出一个新的URL地址,复制打开即可。

在这里插入图片描述
用法和V1一样,不过多了几个选项就是语速和音色稳定功能,防止上次音频和本次生成的音频音色不一致的问题。这里我测试了一下,长文本,大概有200字左右。

在这里插入图片描述
这里我用的是2080T(11GB)的显卡作为推理,最终生成的时间为13秒左右,生成速度更是达到了180it/s,比上一代版本提升的速度很快。

总体对比下来,V2的提升绝对不止一点,V2的提升无论是在音色还是速度的上,真正的达到了,跨版本的大更新,之前我在使用V1版本的模型推理上,由于一些早期数据集的音质影响下,生成出来的模型结果也是大失所望,好在V2的发布弥补了这些问题。

这篇关于手把手教你GPT-SoVITS V2版本模型教程,内附整合包的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1112731

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

4B参数秒杀GPT-3.5:MiniCPM 3.0惊艳登场!

​ 面壁智能 在 AI 的世界里,总有那么几个时刻让人惊叹不已。面壁智能推出的 MiniCPM 3.0,这个仅有4B参数的"小钢炮",正在以惊人的实力挑战着 GPT-3.5 这个曾经的AI巨人。 MiniCPM 3.0 MiniCPM 3.0 MiniCPM 3.0 目前的主要功能有: 长上下文功能:原生支持 32k 上下文长度,性能完美。我们引入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费