TTS | emotional-vits情绪语音合成的实现

2023-12-10 17:28

本文主要是介绍TTS | emotional-vits情绪语音合成的实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文主要介绍了情绪语音合成项目训练自己的数据集的实现过程~

innnky/emotional-vits: 无需情感标注的情感可控语音合成模型,基于VITS (github.com)

目录

0.环境设置

 1.数据预处理

2..提取情绪

3.训练

4.推理

过程中遇到的问题与解决【PS】


0.环境设置

因为我用的是之前设置vits的虚拟环境,这里可能也有写不全的的地方~

git clone https://github.com/innnky/emotional-vits
cd emotional-vits
pip install -r requirements.txt# MAS 对印发音和文本:Cython-version Monotonoic Alignment Search
cd monotonic_align
python setup.py build_ext --inplace

 1.数据预处理

# 处理数据集
python preprocess.py --text_index 2 --filelists /jf-training-home/src/emotional-vits/filelists/bea_train.txt /jf-training-home/src/emotional-vits/filelists/val.txt --text_cleaners korean_cleaners

生成文本处理文件

对数据进行16000重采样:

import os
import librosa
import tqdm
import soundfile as sf
import timeif __name__ == '__main__':audioExt = 'WAV'input_sample = 22050output_sample = 16000audioDirectory = ['/jf-training-home/src/emotional-vits/dataset/bae_before']outputDirectory = ['/jf-training-home/src/emotional-vits/dataset/bae']start_time=time.time()for i, dire in enumerate(audioDirectory):clean_speech_paths = librosa.util.find_files(directory=dire,ext=audioExt,recurse=True, )for file in tqdm.tqdm(clean_speech_paths, desc='No.{} dataset resampling'.format(i)):fileName = os.path.basename(file)y, sr = librosa.load(file, sr=input_sample)y_16k = librosa.resample(y, orig_sr=sr, target_sr=output_sample)outputFileName = os.path.join(outputDirectory[i], fileName)sf.write(outputFileName, y_16k, output_sample)end_time=time.time()runTime=end_time - start_timeprint("Run Time: {} sec ~".format(runTime))

2..提取情绪

*注意:如果数据集是英文,可以默认提取情绪信息,如果是中文,需要更换预训练权重
!!

修改emotion_extract.py文件的第94行,改为自己的数据集路径

原代码rootpath = "dataset/nene"

改为自己的rootpath = "dataset/bae"

python emotion_extract.py --filelists src/emotional-vits/filelists/bae_train.txt src/emotional-vits/filelists/bae_val.txt

 如果出现问题参考【PS2】,运行时如图

文件内会生成

3.训练

#python train_ms.py -c configs/nene.json -m nene --ckptD /path/to/D_xxxx.pth --ckptG /path/to/G_xxxx.pthpython train_ms.py -c configs/bae.json -m emo_bae 

如果出现错误,参考【PS3】 

 开始训练

一共3000条数据,8个小时epoch410->step24000

4.推理

推理使用inference.ipynb,修改配置文件,以及权重文件路径

推理结果并不是完整的句子,可能是因为ser预训练加载的是英文的,而训练的数据集并非英文。

过程中遇到的问题与解决【PS】

【PS1】RuntimeError: Given groups=1, weight of size [512, 1, 10], expected input[1, 45140, 1] to have 1 channels, but got 45140 channels instead

 

 解决方案

pip install transformers==4.25.1#或者在emotion_extract.py文件77行增加一个维度
y = y.unsqueeze(0)

 然后就解决啦~

【PS2】安装setuptools出错

 删掉使用日语的库

【PS3】RuntimeError: stft requires the return_complex parameter be given for real inputs, and will further require that return_complex=True in a future PyTorch release.

打开emotional-vits/mel_processing.py, 111行

添加了 return_complex=True

然后出现RuntimeError: mat1 and mat2 shapes cannot be multiplied (80x513 and 32x513)

解决办法

pytorch包太新了导致的修改emotional-vits/mel_processing.py,

66行,67行【增加return_complex=False】

104行,105行【onesided=True后增加,return_complex=False】

其他

Q&A

怎么根据Ubuntu进程判断运行的程序?

第一步查询GPU进程

fuser使用

  • 安装: sudo apt-get update
  • sudo apt-get install psmisc
  • 查看显卡占用的进程: 
  • fuser -v /dev/nvidia*
  • 杀掉进程 kill -9 PID

后面都是python,说明都是python命令

通过名称查看进程

ps -ef | grep python

 

 对比删除自己不用的进程就可以啦~

这篇关于TTS | emotional-vits情绪语音合成的实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/477790

相关文章

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

PyQt6/PySide6中QTableView类的实现

《PyQt6/PySide6中QTableView类的实现》本文主要介绍了PyQt6/PySide6中QTableView类的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学... 目录1. 基本概念2. 创建 QTableView 实例3. QTableView 的常用属性和方法

PyQt6/PySide6中QTreeView类的实现

《PyQt6/PySide6中QTreeView类的实现》QTreeView是PyQt6或PySide6库中用于显示分层数据的控件,本文主要介绍了PyQt6/PySide6中QTreeView类的实现... 目录1. 基本概念2. 创建 QTreeView 实例3. QTreeView 的常用属性和方法属性

Android使用ImageView.ScaleType实现图片的缩放与裁剪功能

《Android使用ImageView.ScaleType实现图片的缩放与裁剪功能》ImageView是最常用的控件之一,它用于展示各种类型的图片,为了能够根据需求调整图片的显示效果,Android提... 目录什么是 ImageView.ScaleType?FIT_XYFIT_STARTFIT_CENTE

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

Java对象转换的实现方式汇总

《Java对象转换的实现方式汇总》:本文主要介绍Java对象转换的多种实现方式,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Java对象转换的多种实现方式1. 手动映射(Manual Mapping)2. Builder模式3. 工具类辅助映

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服