Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能

本文主要是介绍Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

SMMA-NET: AN AUDIO CLUE-BASED TARGET SPEAKER EXTRACTION NETWORK

WITH SPECTROGRAM MATCHING AND MUTUAL ATTENTION
第二章 目标说话人提取之《Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能》


文章目录

  • SMMA-NET: AN AUDIO CLUE-BASED TARGET SPEAKER EXTRACTION NETWORK
  • 前言
  • 一、任务
  • 二、动机
  • 三、挑战
  • 四、方法
    • 1.TSE任务
    • 2.谱图匹配
    • 3. 多尺度自适应编码器
    • 4.精细阶段
  • 五、实验评价
    • 1.数据集
    • 2.实验
    • 3.客观评价
    • 4.主观评价
  • 六、结论
  • 七、知识小结


前言

语音新手入门,学习读懂论文。
本文作者机构是信号检测与处理新疆省重点实验室,乌鲁木齐2新疆大学计算机科学与技术学院,乌鲁木齐3海思科技有限公司4清华大学电子工程系
在这里插入图片描述


一、任务

我们提出了一种具有谱图匹配和相互关注的目标说话人提取网络(SMMA-Net)。我们提出了一种谱图匹配策略来获得辅助段,该辅助段在长度和特征上与混合段匹配。设计相互注意块,在混合语和辅助语融合过程中有效利用匹配的辅助语段。

二、动机

通过捕捉目标说话人语音特征的说话人编码器,池化操作生成嵌入向量,然后通过加法、乘法等运算将其与混合后的特征映射融合。

三、挑战

一方面,由于嵌入向量不能保持目标说话人的动态变化特征,可能会扭曲目标说话人的音色和辅助语音的内在相干性。另一方面,刚才提到的融合操作,虽然是一种有效而不矫饰的方式,但人类大脑的选择性听觉注意机制并不一致。

四、方法

1.TSE任务


在这里插入图片描述

2.谱图匹配

提出了一种频谱图匹配策略,直接在帧级计算辅助语音频谱图与混合语音的余弦相似度。当混合语音的谱图长度大于辅助语音的谱图长度,即T > T '时,辅助语音将被复制和截断,以保持与混合语音相同的长度。否则,后者将被分割成多个长度为T,跳数为p的段。在辅助语音的开头和结尾填充零后生成。通过计算每段Ai与混合语音Y之间的余弦相似度d:
在这里插入图片描述
其中<·,·>为内积,得到M个相似矩阵。选取相似矩阵中位数最大的段作为匹配的辅助段Am(t, f)。

3. 多尺度自适应编码器

我们设计了一种基于非对称卷积的多尺度自适应编码器,其输入为混合或匹配辅助段的频谱图。输入经过一个核大小为3×3的Conv2D,得到特征映射J。它将被送入三组核大小分别为3、5和7的非对称卷积中,以获得其在不同尺度上的上下文关系。在每个集合中,垂直和水平卷积操作之后是一个投影层(Proj),该投影层由Conv2D、参数整流线性单元(PReLU)和层归一化(LN)组成。对Proj2和Proj3的输出进行求和,并将结果通过线性层和sigmoid线性单元(SiLU)激活操作生成先聚合的特征图,再将其与Proj1的输出进行求和,以同样的方式生成二次聚合的特征图。J与二次聚合的feature map之间以卷积的方式存在残差连接。混合语音和匹配的辅助语音的频谱图分别被送入具有相同结构的单独编码器中,生成混合语音和辅助语音的中间特征映射Em和Ea。

将Em和Ea两个编码器的输出送入互注意块,得到融合特征,作为后续迭代过程的输入。图1所示,初级阶段的横线框内的操作分量将被重复Nb次,由双向长短期记忆(BLSTM)、多重大核注意(MLKA)、移动反向瓶颈卷积(MBConv)和全波段自注意组成,分别得到Zf、Zt、Zc和Zi。(BLSTM和全频段自关注遵循TF-GridNet的设计原则)
在这里插入图片描述
(a)多尺度自适应编码器原理图,(b)互注意块,©多个大核注意,(d)特征重组单元。R为蓝色或红色,表示通过消除频率或时间维度将三维张量(3D)重塑为二维张量,带黑色的R表示将张量重塑回三维张量。MM表示矩阵乘法,⊗表示元素积。LKC(K,d)表示核大小为K,展开为d的大核卷积运算。
相互注意:
助语和混合语中的一个将作为查询,而另一个将同时作为键和值。输入分别沿着频率和时间维度重构为T和F个独立序列。然后将单独的序列分别投影到查询、键和值上,分别记为q、k和v。投影层由一维(1D)卷积(Conv1D)、PReLU和LN组成。然后,利用缩放后的点积关注得到加权特征Mt和Mf。
多重大核注意:
核大小为(K, K)的大核卷积(Large Kernel convolution, LKC)运算可以分解为展开d的[K/d × K/d]深度展开卷积(DW-D-Conv)、(2d−1)× (2d−1)深度卷积(DWConv)和点向卷积(PWConv)[27]。如图2 ©所示,Zp将被输入到三个LKC操作中,其中(K, d)为(6,2)、(12,3)和(20,4),以捕获不同时间分辨率下Zp的长期依赖关系。经过一个串联和全连接(FC)层,可以得到一个有效的融合特征Zo,并将其应用到Zp上。
移动倒瓶颈卷积(MBConv):不同通道之间特征图具有高度相似性的现象。为了减少由高相似性引起的信道间冗余,作者利用MBConv来聚合和重加权信道信息。

4.精细阶段

随着模型的深入,自我注意的重复应用会稀释高频分量,因此精化阶段的每个迭代过程都包含一个额外的特征重组单元,该单元用于放大高频分量。
Feature Recombination Unit (FRU):
首先将输入特征X送入global average pooling (GAP)层,生成直流分量Xd。将Xin减去Xd,得到高频分量Xh,引入两个可学习参数λ和µ,分别对高频分量和直流分量进行重加权。
在这里插入图片描述

五、实验评价

1.数据集

WSJ02mix dataset1模拟了一个双说话人混合数据库。训练子集(20,000个话语覆盖101个说话人,持续时间为30小时),验证子集(5,000个话语覆盖101个说话人,持续时间为10小时)和测试子集(3,000个话语覆盖18个说话人,持续时间为5小时),其中所有样本的采样率为8kHz。辅助发言的平均时长为7.3秒。

2.实验

利用平方根Hann窗口,窗口大小为32 ms,跳长为8 ms。将谱图匹配过程中的跳数P设为126,D设为24。初级和细化阶段的重复次数设置为Nb = 4, Nr = 4。两个阶段的blstm中隐藏单元的数量都设置为192。
在这里插入图片描述
为了有效地利用辅助语音,提出了谱图匹配策略。为了验证其有效性,我们采用了基于我们提出的整体架构的其他三种策略来对齐辅助语音和混合语音:
(i)嵌入向量:重复从扬声器编码器生成的扬声器嵌入向量。
(ii)补丁级匹配:在补丁级选择几个相似度较高的辅助片段进行拼接[18]。
(iii)随机分割:从辅助语中随机分割一段,使其在长度上与混合语匹配。
表1的结果表明,我们提出的SM策略在尺度不变信失真比改进(SI-SDRi)指标上显著优于传统的嵌入向量方法,提高了1.8dB。我们将这种显著的增益归因于辅助语音在时间维度上的动态变化特征。与补丁级匹配相比,SM在Si-SDRi指标上的性能提高了0.5dB,这进一步证明了辅助语音动态变化特征对基于音频线索的TSE任务的重要性。(iii)和(iv)都使用了助语的连续段,而(iii)缺乏“余弦相似度计算”的匹配过程。结果表明,匹配过程对SI-SDRi的贡献为0.2dB。
在这里插入图片描述
表2列出了我们模型在不同设备下的SI-SDRi结果。当不使用SM时,SMMA-Net使用传统的嵌入向量,当不使用互注意(MA)时,使用简单的加法运算。在没有精化阶段的情况下,两个阶段将合并为一个阶段,在没有FRU的情况下重复8次。

在这里插入图片描述
我们首先在WSJ0-2mix-extr数据集上评估了SMMA-Net在TSE任务中的性能。SMMA-Net以最少的参数数量实现了最佳性能,在SI-SDRi指标上优于最先进的方法。我们还在WSJ0-2mix数据集上评估了SMMA-Net用于说话人分离(SS)任务的性能。SMMA-Net*采用与SMMA-Net类似的架构,主要区别是MA块被删除。此外,SM策略也没有被利用。

3.客观评价

4.主观评价


六、结论

本文提出了基于音频线索的TSE任务的SMMA-Net。
实验结果表明了所提出的SM策略和MA块的有效性。SMMA-Net在TSE任务中优于最先进的方法,并在Si-SDRi度量上实现了1.3 dB的改进。据我们所知,我们提出的用于TSE任务的SMMA-Net首先超越了具有相同架构的用于SS任务的模型。

七、知识小结

这篇关于Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/978123

相关文章

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

详解C#如何提取PDF文档中的图片

《详解C#如何提取PDF文档中的图片》提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使用,下面我们就来看看如何使用C#通过代码从PDF文档中提取图片吧... 当 PDF 文件中包含有价值的图片,如艺术画作、设计素材、报告图表等,提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使

Java实现文件图片的预览和下载功能

《Java实现文件图片的预览和下载功能》这篇文章主要为大家详细介绍了如何使用Java实现文件图片的预览和下载功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... Java实现文件(图片)的预览和下载 @ApiOperation("访问文件") @GetMapping("

SpringKafka消息发布之KafkaTemplate与事务支持功能

《SpringKafka消息发布之KafkaTemplate与事务支持功能》通过本文介绍的基本用法、序列化选项、事务支持、错误处理和性能优化技术,开发者可以构建高效可靠的Kafka消息发布系统,事务支... 目录引言一、KafkaTemplate基础二、消息序列化三、事务支持机制四、错误处理与重试五、性能优

SpringIntegration消息路由之Router的条件路由与过滤功能

《SpringIntegration消息路由之Router的条件路由与过滤功能》本文详细介绍了Router的基础概念、条件路由实现、基于消息头的路由、动态路由与路由表、消息过滤与选择性路由以及错误处理... 目录引言一、Router基础概念二、条件路由实现三、基于消息头的路由四、动态路由与路由表五、消息过滤

Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

《SpringBoot3.4.3基于SpringWebFlux实现SSE功能(代码示例)》SpringBoot3.4.3结合SpringWebFlux实现SSE功能,为实时数据推送提供... 目录1. SSE 简介1.1 什么是 SSE?1.2 SSE 的优点1.3 适用场景2. Spring WebFlu

基于SpringBoot实现文件秒传功能

《基于SpringBoot实现文件秒传功能》在开发Web应用时,文件上传是一个常见需求,然而,当用户需要上传大文件或相同文件多次时,会造成带宽浪费和服务器存储冗余,此时可以使用文件秒传技术通过识别重复... 目录前言文件秒传原理代码实现1. 创建项目基础结构2. 创建上传存储代码3. 创建Result类4.

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

一文详解SpringBoot响应压缩功能的配置与优化

《一文详解SpringBoot响应压缩功能的配置与优化》SpringBoot的响应压缩功能基于智能协商机制,需同时满足很多条件,本文主要为大家详细介绍了SpringBoot响应压缩功能的配置与优化,需... 目录一、核心工作机制1.1 自动协商触发条件1.2 压缩处理流程二、配置方案详解2.1 基础YAML