Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能

本文主要是介绍Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

SMMA-NET: AN AUDIO CLUE-BASED TARGET SPEAKER EXTRACTION NETWORK

WITH SPECTROGRAM MATCHING AND MUTUAL ATTENTION
第二章 目标说话人提取之《Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能》


文章目录

  • SMMA-NET: AN AUDIO CLUE-BASED TARGET SPEAKER EXTRACTION NETWORK
  • 前言
  • 一、任务
  • 二、动机
  • 三、挑战
  • 四、方法
    • 1.TSE任务
    • 2.谱图匹配
    • 3. 多尺度自适应编码器
    • 4.精细阶段
  • 五、实验评价
    • 1.数据集
    • 2.实验
    • 3.客观评价
    • 4.主观评价
  • 六、结论
  • 七、知识小结


前言

语音新手入门,学习读懂论文。
本文作者机构是信号检测与处理新疆省重点实验室,乌鲁木齐2新疆大学计算机科学与技术学院,乌鲁木齐3海思科技有限公司4清华大学电子工程系
在这里插入图片描述


一、任务

我们提出了一种具有谱图匹配和相互关注的目标说话人提取网络(SMMA-Net)。我们提出了一种谱图匹配策略来获得辅助段,该辅助段在长度和特征上与混合段匹配。设计相互注意块,在混合语和辅助语融合过程中有效利用匹配的辅助语段。

二、动机

通过捕捉目标说话人语音特征的说话人编码器,池化操作生成嵌入向量,然后通过加法、乘法等运算将其与混合后的特征映射融合。

三、挑战

一方面,由于嵌入向量不能保持目标说话人的动态变化特征,可能会扭曲目标说话人的音色和辅助语音的内在相干性。另一方面,刚才提到的融合操作,虽然是一种有效而不矫饰的方式,但人类大脑的选择性听觉注意机制并不一致。

四、方法

1.TSE任务


在这里插入图片描述

2.谱图匹配

提出了一种频谱图匹配策略,直接在帧级计算辅助语音频谱图与混合语音的余弦相似度。当混合语音的谱图长度大于辅助语音的谱图长度,即T > T '时,辅助语音将被复制和截断,以保持与混合语音相同的长度。否则,后者将被分割成多个长度为T,跳数为p的段。在辅助语音的开头和结尾填充零后生成。通过计算每段Ai与混合语音Y之间的余弦相似度d:
在这里插入图片描述
其中<·,·>为内积,得到M个相似矩阵。选取相似矩阵中位数最大的段作为匹配的辅助段Am(t, f)。

3. 多尺度自适应编码器

我们设计了一种基于非对称卷积的多尺度自适应编码器,其输入为混合或匹配辅助段的频谱图。输入经过一个核大小为3×3的Conv2D,得到特征映射J。它将被送入三组核大小分别为3、5和7的非对称卷积中,以获得其在不同尺度上的上下文关系。在每个集合中,垂直和水平卷积操作之后是一个投影层(Proj),该投影层由Conv2D、参数整流线性单元(PReLU)和层归一化(LN)组成。对Proj2和Proj3的输出进行求和,并将结果通过线性层和sigmoid线性单元(SiLU)激活操作生成先聚合的特征图,再将其与Proj1的输出进行求和,以同样的方式生成二次聚合的特征图。J与二次聚合的feature map之间以卷积的方式存在残差连接。混合语音和匹配的辅助语音的频谱图分别被送入具有相同结构的单独编码器中,生成混合语音和辅助语音的中间特征映射Em和Ea。

将Em和Ea两个编码器的输出送入互注意块,得到融合特征,作为后续迭代过程的输入。图1所示,初级阶段的横线框内的操作分量将被重复Nb次,由双向长短期记忆(BLSTM)、多重大核注意(MLKA)、移动反向瓶颈卷积(MBConv)和全波段自注意组成,分别得到Zf、Zt、Zc和Zi。(BLSTM和全频段自关注遵循TF-GridNet的设计原则)
在这里插入图片描述
(a)多尺度自适应编码器原理图,(b)互注意块,©多个大核注意,(d)特征重组单元。R为蓝色或红色,表示通过消除频率或时间维度将三维张量(3D)重塑为二维张量,带黑色的R表示将张量重塑回三维张量。MM表示矩阵乘法,⊗表示元素积。LKC(K,d)表示核大小为K,展开为d的大核卷积运算。
相互注意:
助语和混合语中的一个将作为查询,而另一个将同时作为键和值。输入分别沿着频率和时间维度重构为T和F个独立序列。然后将单独的序列分别投影到查询、键和值上,分别记为q、k和v。投影层由一维(1D)卷积(Conv1D)、PReLU和LN组成。然后,利用缩放后的点积关注得到加权特征Mt和Mf。
多重大核注意:
核大小为(K, K)的大核卷积(Large Kernel convolution, LKC)运算可以分解为展开d的[K/d × K/d]深度展开卷积(DW-D-Conv)、(2d−1)× (2d−1)深度卷积(DWConv)和点向卷积(PWConv)[27]。如图2 ©所示,Zp将被输入到三个LKC操作中,其中(K, d)为(6,2)、(12,3)和(20,4),以捕获不同时间分辨率下Zp的长期依赖关系。经过一个串联和全连接(FC)层,可以得到一个有效的融合特征Zo,并将其应用到Zp上。
移动倒瓶颈卷积(MBConv):不同通道之间特征图具有高度相似性的现象。为了减少由高相似性引起的信道间冗余,作者利用MBConv来聚合和重加权信道信息。

4.精细阶段

随着模型的深入,自我注意的重复应用会稀释高频分量,因此精化阶段的每个迭代过程都包含一个额外的特征重组单元,该单元用于放大高频分量。
Feature Recombination Unit (FRU):
首先将输入特征X送入global average pooling (GAP)层,生成直流分量Xd。将Xin减去Xd,得到高频分量Xh,引入两个可学习参数λ和µ,分别对高频分量和直流分量进行重加权。
在这里插入图片描述

五、实验评价

1.数据集

WSJ02mix dataset1模拟了一个双说话人混合数据库。训练子集(20,000个话语覆盖101个说话人,持续时间为30小时),验证子集(5,000个话语覆盖101个说话人,持续时间为10小时)和测试子集(3,000个话语覆盖18个说话人,持续时间为5小时),其中所有样本的采样率为8kHz。辅助发言的平均时长为7.3秒。

2.实验

利用平方根Hann窗口,窗口大小为32 ms,跳长为8 ms。将谱图匹配过程中的跳数P设为126,D设为24。初级和细化阶段的重复次数设置为Nb = 4, Nr = 4。两个阶段的blstm中隐藏单元的数量都设置为192。
在这里插入图片描述
为了有效地利用辅助语音,提出了谱图匹配策略。为了验证其有效性,我们采用了基于我们提出的整体架构的其他三种策略来对齐辅助语音和混合语音:
(i)嵌入向量:重复从扬声器编码器生成的扬声器嵌入向量。
(ii)补丁级匹配:在补丁级选择几个相似度较高的辅助片段进行拼接[18]。
(iii)随机分割:从辅助语中随机分割一段,使其在长度上与混合语匹配。
表1的结果表明,我们提出的SM策略在尺度不变信失真比改进(SI-SDRi)指标上显著优于传统的嵌入向量方法,提高了1.8dB。我们将这种显著的增益归因于辅助语音在时间维度上的动态变化特征。与补丁级匹配相比,SM在Si-SDRi指标上的性能提高了0.5dB,这进一步证明了辅助语音动态变化特征对基于音频线索的TSE任务的重要性。(iii)和(iv)都使用了助语的连续段,而(iii)缺乏“余弦相似度计算”的匹配过程。结果表明,匹配过程对SI-SDRi的贡献为0.2dB。
在这里插入图片描述
表2列出了我们模型在不同设备下的SI-SDRi结果。当不使用SM时,SMMA-Net使用传统的嵌入向量,当不使用互注意(MA)时,使用简单的加法运算。在没有精化阶段的情况下,两个阶段将合并为一个阶段,在没有FRU的情况下重复8次。

在这里插入图片描述
我们首先在WSJ0-2mix-extr数据集上评估了SMMA-Net在TSE任务中的性能。SMMA-Net以最少的参数数量实现了最佳性能,在SI-SDRi指标上优于最先进的方法。我们还在WSJ0-2mix数据集上评估了SMMA-Net用于说话人分离(SS)任务的性能。SMMA-Net*采用与SMMA-Net类似的架构,主要区别是MA块被删除。此外,SM策略也没有被利用。

3.客观评价

4.主观评价


六、结论

本文提出了基于音频线索的TSE任务的SMMA-Net。
实验结果表明了所提出的SM策略和MA块的有效性。SMMA-Net在TSE任务中优于最先进的方法,并在Si-SDRi度量上实现了1.3 dB的改进。据我们所知,我们提出的用于TSE任务的SMMA-Net首先超越了具有相同架构的用于SS任务的模型。

七、知识小结

这篇关于Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/978123

相关文章

C++11第三弹:lambda表达式 | 新的类功能 | 模板的可变参数

🌈个人主页: 南桥几晴秋 🌈C++专栏: 南桥谈C++ 🌈C语言专栏: C语言学习系列 🌈Linux学习专栏: 南桥谈Linux 🌈数据结构学习专栏: 数据结构杂谈 🌈数据库学习专栏: 南桥谈MySQL 🌈Qt学习专栏: 南桥谈Qt 🌈菜鸡代码练习: 练习随想记录 🌈git学习: 南桥谈Git 🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈�

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor

poj 1258 Agri-Net(最小生成树模板代码)

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码:效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

ASIO网络调试助手之一:简介

多年前,写过几篇《Boost.Asio C++网络编程》的学习文章,一直没机会实践。最近项目中用到了Asio,于是抽空写了个网络调试助手。 开发环境: Win10 Qt5.12.6 + Asio(standalone) + spdlog 支持协议: UDP + TCP Client + TCP Server 独立的Asio(http://www.think-async.com)只包含了头文件,不依

如何在Visual Studio中调试.NET源码

今天偶然在看别人代码时,发现在他的代码里使用了Any判断List<T>是否为空。 我一般的做法是先判断是否为null,再判断Count。 看了一下Count的源码如下: 1 [__DynamicallyInvokable]2 public int Count3 {4 [__DynamicallyInvokable]5 get

2、PF-Net点云补全

2、PF-Net 点云补全 PF-Net论文链接:PF-Net PF-Net (Point Fractal Network for 3D Point Cloud Completion)是一种专门为三维点云补全设计的深度学习模型。点云补全实际上和图片补全是一个逻辑,都是采用GAN模型的思想来进行补全,在图片补全中,将部分像素点删除并且标记,然后卷积特征提取预测、判别器判别,来训练模型,生成的像

poj 3181 网络流,建图。

题意: 农夫约翰为他的牛准备了F种食物和D种饮料。 每头牛都有各自喜欢的食物和饮料,而每种食物和饮料都只能分配给一头牛。 问最多能有多少头牛可以同时得到喜欢的食物和饮料。 解析: 由于要同时得到喜欢的食物和饮料,所以网络流建图的时候要把牛拆点了。 如下建图: s -> 食物 -> 牛1 -> 牛2 -> 饮料 -> t 所以分配一下点: s  =  0, 牛1= 1~