[深度学习 - TTS自学之路] 基于fastspeech2 学习TTS流程以及部分代码梳理

2023-11-21 09:31

本文主要是介绍[深度学习 - TTS自学之路] 基于fastspeech2 学习TTS流程以及部分代码梳理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

深度学习方案 - TTS流程以及代码梳理 - fastspeech2

参考源码:https://github.com/ming024/FastSpeech2

最近好长一阵子没有写文章了,一方面是公司里做的一些项目不好公开写成文章,另一方面由于教育双减政策的影响,很多项目临时被停止了,所以这阵子,对原项目的维护以及新领域(音频)方面的自研学习,基本都在忙着,个人时间很少。
另外打个小广告,科室这边也逐渐对外写一些技术文章,主要在微信公众号:“ AI炼丹术 ”上发布。目前发布了很多关于端侧优化部署的文章、OCR相关技术文章等。后续我可能也会参与一些文章的写作发布。(可能关于人体相关技术或正在自我学习的音频方向)有兴趣的小伙伴可以关注一下,如果有帮助的话可以说是咸鱼推荐来的。。😏

本文的内容属于音频领域中TTS(text to speech),个人正在摸索,具体细节上的理解可能会有误,见谅。
另外还有一个关于音频的资料总结(来自一个知乎大佬:李永强):http://yqli.tech/page/tts_paper.html

一、步骤:

1. 前端处理

  • 输入文本 text,例如:text = 大家好!
  • 文本转拼音,例如:pinyins = ['da4', 'jia1', 'hao3']
from pypinyin import pinyin, Stylepinyins = [p[0]for p in pinyin(text, style=Style.TONE3, strict=False, neutral_tone_with_five=True)]
  • 拼音转韵律,例如:phones = ['d', 'a4', 'j', 'ia1', 'h', 'ao3']->'phones = {d a4 j ia1 h ao3}'
for p in pinyins: # lexicon 韵律表字典if p in lexicon:phones += lexicon[p]else:phones.append("sp") # 停顿
  • 韵律map成id,例如:sequence = [151, 174, 155, 226, 154, 193]
def text_to_sequence(text, cleaner_names):"""Converts a string of text to a sequence of IDs corresponding to the symbols in the text.The text can optionally have ARPAbet sequences enclosed in curly braces embeddedin it. For example, "Turn left on {HH AW1 S S T AH0 N} Street."Args:text: string to convert to a sequencecleaner_names: names of the cleaner functions to run the text throughReturns:List of integers corresponding to the symbols in the text"""sequence = []# Check for curly braces and treat their contents as ARPAbet:while len(text):m = _curly_re.match(text)if not m:sequence += _symbols_to_sequence(_clean_text(text, cleaner_names))breaksequence += _symbols_to_sequence(_clean_text(m.group(1), cleaner_names))sequence += _arpabet_to_sequence(m.group(2))text = m.group(3)return sequence

2. 声学模型 Fastspeech 2

  • 模型主要由三部分组成,encoder、adaptor、decoder;
  • encoder:韵律转换成数字信号后作为模型输入;
output = self.encoder(texts, src_masks)
  • VarianceAdaptor:输入音色 speaker、音高 pitch、音量 energy、语速 duration以及encoder部分的output; # speaker 这个源码里面加入multi-speaker TTS,即可以切换多个人的声音进行输出。

多人数据训练,通过参数speaker的调节音色。Alshell3 数据集由多个人的音色。

{"SSB1781": 0, "SSB1274": 1, "SSB1585": 2, "SSB1055": 3, "SSB1020": 4, "SSB0668": 5, "SSB1625": 6, ...} # speaker.json文件

p_control, e_control, d_control 作为音高、音量、语速的参数输入,输出合成的梅尔频谱(频谱包含时长信息)。

个人猜测这一块的作用决定了音频最终的音色、音高、音量、语速。可以通过这块调节,不同音量、语速或者个性化声音。

if self.speaker_emb is not None: # output = output + self.speaker_emb(speakers).unsqueeze(1).expand(-1, max_src_len, -1) # 将speaker加入encoder的output作为variance_adaptor部分的输入(output, p_predictions, e_predictions, log_d_predictions, d_rounded, mel_lens, mel_masks) = self.variance_adaptor(output, src_masks, mel_masks,
max_mel_len, p_targets, e_targets, d_targets, p_control, e_control, d_control)
  • decoder:将variance_adaptor的输出进行解码,生成梅尔频谱(维度一般为 T*80)或声波(维度一般为T * hop_size)。

fastspeech2 最终输出mel-spectrogram 梅尔频谱,梅尔频谱并不能直接生成音频,它需要再重构才能生成声波,进而生成音频,所以生成的梅尔频谱还需要经过声码器 vocoder,才能得到waveform。(mel-gan 、hifi-gan…);

而fastspeech2S 将声码器一起端到端训练,最终直接输出声波/音频。(2s找不到开源源码)

声波维度T * hop_size:这实际是一个上采样的过程,上采样的倍数为hop size*,*即一帧梅尔频谱特征要还原生成hop size个采样点; 如果音频采样率为22050,hop size设为256,则上采样的倍数为256。

output, mel_masks = self.decoder(output, mel_masks)
output = self.mel_linear(output) 
postnet_output = self.postnet(output) + output # 这个应该就是输出的梅尔频谱,原论文没有postnet,这层结构是源码作者自己加上的return (output, postnet_output, p_predictions, e_predictions,log_d_predictions, d_rounded, src_masks, mel_masks, src_lens, mel_lens,)

3. 声码器 vocoder - mel2wav

  • 声码器的作用:决定了合成音频的音质高低。
  • 个人猜测声码器可以解决合成的音频有噪声/人声不干净、人声不自然等情况,即训练作用:起润色音频(去噪、声调),而音频的音色、音高、音量、音速主要还是取决于声学模型。
  • 源码中提供了两种声码器, MelGAN 、 HiFi-GAN vocoder,我这边尝试的是hifi-gan。
  • 这个TTS源码中没有声码器训练的部分代码,higi-gan原始仓库:https://github.com/ranchlai/hifi-gan;

声码器的输入:梅尔频谱 - 一般为 T*80 ; 如 T为频谱长度,与音频长短相关。

声码器的输出:声波 - 一般为 T * hopsize (T在频谱上有)。waveform 长度:lengths = T * preprocess_config [“preprocessing”] [“stft”] [“hop_length”]

sampling_rate = preprocess_config["preprocessing"]["audio"]["sampling_rate"] # 加载配置-采样率
wavfile.write(os.path.join(path, "{}.wav".format(basename)), sampling_rate, wav) # 保存音频 (, lengths)

这篇关于[深度学习 - TTS自学之路] 基于fastspeech2 学习TTS流程以及部分代码梳理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/401445

相关文章

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

Java springBoot初步使用websocket的代码示例

《JavaspringBoot初步使用websocket的代码示例》:本文主要介绍JavaspringBoot初步使用websocket的相关资料,WebSocket是一种实现实时双向通信的协... 目录一、什么是websocket二、依赖坐标地址1.springBoot父级依赖2.springBoot依赖

讯飞webapi语音识别接口调用示例代码(python)

《讯飞webapi语音识别接口调用示例代码(python)》:本文主要介绍如何使用Python3调用讯飞WebAPI语音识别接口,重点解决了在处理语音识别结果时判断是否为最后一帧的问题,通过运行代... 目录前言一、环境二、引入库三、代码实例四、运行结果五、总结前言基于python3 讯飞webAPI语音

什么是 Java 的 CyclicBarrier(代码示例)

《什么是Java的CyclicBarrier(代码示例)》CyclicBarrier是多线程协同的利器,适合需要多次同步的场景,本文通过代码示例讲解什么是Java的CyclicBarrier,感... 你的回答(口语化,面试场景)面试官:什么是 Java 的 CyclicBarrier?你:好的,我来举个例

在VSCode中本地运行DeepSeek的流程步骤

《在VSCode中本地运行DeepSeek的流程步骤》本文详细介绍了如何在本地VSCode中安装和配置Ollama和CodeGPT,以使用DeepSeek进行AI编码辅助,无需依赖云服务,需要的朋友可... 目录步骤 1:在 VSCode 中安装 Ollama 和 CodeGPT安装Ollama下载Olla

基于Canvas的Html5多时区动态时钟实战代码

《基于Canvas的Html5多时区动态时钟实战代码》:本文主要介绍了如何使用Canvas在HTML5上实现一个多时区动态时钟的web展示,通过Canvas的API,可以绘制出6个不同城市的时钟,并且这些时钟可以动态转动,每个时钟上都会标注出对应的24小时制时间,详细内容请阅读本文,希望能对你有所帮助...

HTML5 data-*自定义数据属性的示例代码

《HTML5data-*自定义数据属性的示例代码》HTML5的自定义数据属性(data-*)提供了一种标准化的方法在HTML元素上存储额外信息,可以通过JavaScript访问、修改和在CSS中使用... 目录引言基本概念使用自定义数据属性1. 在 html 中定义2. 通过 JavaScript 访问3.

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

Flutter监听当前页面可见与隐藏状态的代码详解

《Flutter监听当前页面可见与隐藏状态的代码详解》文章介绍了如何在Flutter中使用路由观察者来监听应用进入前台或后台状态以及页面的显示和隐藏,并通过代码示例讲解的非常详细,需要的朋友可以参考下... flutter 可以监听 app 进入前台还是后台状态,也可以监听当http://www.cppcn

Python使用PIL库将PNG图片转换为ICO图标的示例代码

《Python使用PIL库将PNG图片转换为ICO图标的示例代码》在软件开发和网站设计中,ICO图标是一种常用的图像格式,特别适用于应用程序图标、网页收藏夹图标等场景,本文将介绍如何使用Python的... 目录引言准备工作代码解析实践操作结果展示结语引言在软件开发和网站设计中,ICO图标是一种常用的图像