Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能

本文主要是介绍Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

SMMA-NET: AN AUDIO CLUE-BASED TARGET SPEAKER EXTRACTION NETWORK

WITH SPECTROGRAM MATCHING AND MUTUAL ATTENTION
第二章 目标说话人提取之《Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能》


文章目录

  • SMMA-NET: AN AUDIO CLUE-BASED TARGET SPEAKER EXTRACTION NETWORK
  • 前言
  • 一、任务
  • 二、动机
  • 三、挑战
  • 四、方法
    • 1.TSE任务
    • 2.谱图匹配
    • 3. 多尺度自适应编码器
    • 4.精细阶段
  • 五、实验评价
    • 1.数据集
    • 2.实验
    • 3.客观评价
    • 4.主观评价
  • 六、结论
  • 七、知识小结


前言

语音新手入门,学习读懂论文。
本文作者机构是信号检测与处理新疆省重点实验室,乌鲁木齐2新疆大学计算机科学与技术学院,乌鲁木齐3海思科技有限公司4清华大学电子工程系
在这里插入图片描述


一、任务

我们提出了一种具有谱图匹配和相互关注的目标说话人提取网络(SMMA-Net)。我们提出了一种谱图匹配策略来获得辅助段,该辅助段在长度和特征上与混合段匹配。设计相互注意块,在混合语和辅助语融合过程中有效利用匹配的辅助语段。

二、动机

通过捕捉目标说话人语音特征的说话人编码器,池化操作生成嵌入向量,然后通过加法、乘法等运算将其与混合后的特征映射融合。

三、挑战

一方面,由于嵌入向量不能保持目标说话人的动态变化特征,可能会扭曲目标说话人的音色和辅助语音的内在相干性。另一方面,刚才提到的融合操作,虽然是一种有效而不矫饰的方式,但人类大脑的选择性听觉注意机制并不一致。

四、方法

1.TSE任务


在这里插入图片描述

2.谱图匹配

提出了一种频谱图匹配策略,直接在帧级计算辅助语音频谱图与混合语音的余弦相似度。当混合语音的谱图长度大于辅助语音的谱图长度,即T > T '时,辅助语音将被复制和截断,以保持与混合语音相同的长度。否则,后者将被分割成多个长度为T,跳数为p的段。在辅助语音的开头和结尾填充零后生成。通过计算每段Ai与混合语音Y之间的余弦相似度d:
在这里插入图片描述
其中<·,·>为内积,得到M个相似矩阵。选取相似矩阵中位数最大的段作为匹配的辅助段Am(t, f)。

3. 多尺度自适应编码器

我们设计了一种基于非对称卷积的多尺度自适应编码器,其输入为混合或匹配辅助段的频谱图。输入经过一个核大小为3×3的Conv2D,得到特征映射J。它将被送入三组核大小分别为3、5和7的非对称卷积中,以获得其在不同尺度上的上下文关系。在每个集合中,垂直和水平卷积操作之后是一个投影层(Proj),该投影层由Conv2D、参数整流线性单元(PReLU)和层归一化(LN)组成。对Proj2和Proj3的输出进行求和,并将结果通过线性层和sigmoid线性单元(SiLU)激活操作生成先聚合的特征图,再将其与Proj1的输出进行求和,以同样的方式生成二次聚合的特征图。J与二次聚合的feature map之间以卷积的方式存在残差连接。混合语音和匹配的辅助语音的频谱图分别被送入具有相同结构的单独编码器中,生成混合语音和辅助语音的中间特征映射Em和Ea。

将Em和Ea两个编码器的输出送入互注意块,得到融合特征,作为后续迭代过程的输入。图1所示,初级阶段的横线框内的操作分量将被重复Nb次,由双向长短期记忆(BLSTM)、多重大核注意(MLKA)、移动反向瓶颈卷积(MBConv)和全波段自注意组成,分别得到Zf、Zt、Zc和Zi。(BLSTM和全频段自关注遵循TF-GridNet的设计原则)
在这里插入图片描述
(a)多尺度自适应编码器原理图,(b)互注意块,©多个大核注意,(d)特征重组单元。R为蓝色或红色,表示通过消除频率或时间维度将三维张量(3D)重塑为二维张量,带黑色的R表示将张量重塑回三维张量。MM表示矩阵乘法,⊗表示元素积。LKC(K,d)表示核大小为K,展开为d的大核卷积运算。
相互注意:
助语和混合语中的一个将作为查询,而另一个将同时作为键和值。输入分别沿着频率和时间维度重构为T和F个独立序列。然后将单独的序列分别投影到查询、键和值上,分别记为q、k和v。投影层由一维(1D)卷积(Conv1D)、PReLU和LN组成。然后,利用缩放后的点积关注得到加权特征Mt和Mf。
多重大核注意:
核大小为(K, K)的大核卷积(Large Kernel convolution, LKC)运算可以分解为展开d的[K/d × K/d]深度展开卷积(DW-D-Conv)、(2d−1)× (2d−1)深度卷积(DWConv)和点向卷积(PWConv)[27]。如图2 ©所示,Zp将被输入到三个LKC操作中,其中(K, d)为(6,2)、(12,3)和(20,4),以捕获不同时间分辨率下Zp的长期依赖关系。经过一个串联和全连接(FC)层,可以得到一个有效的融合特征Zo,并将其应用到Zp上。
移动倒瓶颈卷积(MBConv):不同通道之间特征图具有高度相似性的现象。为了减少由高相似性引起的信道间冗余,作者利用MBConv来聚合和重加权信道信息。

4.精细阶段

随着模型的深入,自我注意的重复应用会稀释高频分量,因此精化阶段的每个迭代过程都包含一个额外的特征重组单元,该单元用于放大高频分量。
Feature Recombination Unit (FRU):
首先将输入特征X送入global average pooling (GAP)层,生成直流分量Xd。将Xin减去Xd,得到高频分量Xh,引入两个可学习参数λ和µ,分别对高频分量和直流分量进行重加权。
在这里插入图片描述

五、实验评价

1.数据集

WSJ02mix dataset1模拟了一个双说话人混合数据库。训练子集(20,000个话语覆盖101个说话人,持续时间为30小时),验证子集(5,000个话语覆盖101个说话人,持续时间为10小时)和测试子集(3,000个话语覆盖18个说话人,持续时间为5小时),其中所有样本的采样率为8kHz。辅助发言的平均时长为7.3秒。

2.实验

利用平方根Hann窗口,窗口大小为32 ms,跳长为8 ms。将谱图匹配过程中的跳数P设为126,D设为24。初级和细化阶段的重复次数设置为Nb = 4, Nr = 4。两个阶段的blstm中隐藏单元的数量都设置为192。
在这里插入图片描述
为了有效地利用辅助语音,提出了谱图匹配策略。为了验证其有效性,我们采用了基于我们提出的整体架构的其他三种策略来对齐辅助语音和混合语音:
(i)嵌入向量:重复从扬声器编码器生成的扬声器嵌入向量。
(ii)补丁级匹配:在补丁级选择几个相似度较高的辅助片段进行拼接[18]。
(iii)随机分割:从辅助语中随机分割一段,使其在长度上与混合语匹配。
表1的结果表明,我们提出的SM策略在尺度不变信失真比改进(SI-SDRi)指标上显著优于传统的嵌入向量方法,提高了1.8dB。我们将这种显著的增益归因于辅助语音在时间维度上的动态变化特征。与补丁级匹配相比,SM在Si-SDRi指标上的性能提高了0.5dB,这进一步证明了辅助语音动态变化特征对基于音频线索的TSE任务的重要性。(iii)和(iv)都使用了助语的连续段,而(iii)缺乏“余弦相似度计算”的匹配过程。结果表明,匹配过程对SI-SDRi的贡献为0.2dB。
在这里插入图片描述
表2列出了我们模型在不同设备下的SI-SDRi结果。当不使用SM时,SMMA-Net使用传统的嵌入向量,当不使用互注意(MA)时,使用简单的加法运算。在没有精化阶段的情况下,两个阶段将合并为一个阶段,在没有FRU的情况下重复8次。

在这里插入图片描述
我们首先在WSJ0-2mix-extr数据集上评估了SMMA-Net在TSE任务中的性能。SMMA-Net以最少的参数数量实现了最佳性能,在SI-SDRi指标上优于最先进的方法。我们还在WSJ0-2mix数据集上评估了SMMA-Net用于说话人分离(SS)任务的性能。SMMA-Net*采用与SMMA-Net类似的架构,主要区别是MA块被删除。此外,SM策略也没有被利用。

3.客观评价

4.主观评价


六、结论

本文提出了基于音频线索的TSE任务的SMMA-Net。
实验结果表明了所提出的SM策略和MA块的有效性。SMMA-Net在TSE任务中优于最先进的方法,并在Si-SDRi度量上实现了1.3 dB的改进。据我们所知,我们提出的用于TSE任务的SMMA-Net首先超越了具有相同架构的用于SS任务的模型。

七、知识小结

这篇关于Smma-net:一种基于音频线索的目标说话人提取网络,具有谱图匹配和相互关注功能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/978123

相关文章

Nginx location匹配模式与规则详解

《Nginxlocation匹配模式与规则详解》:本文主要介绍Nginxlocation匹配模式与规则,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、环境二、匹配模式1. 精准模式2. 前缀模式(不继续匹配正则)3. 前缀模式(继续匹配正则)4. 正则模式(大

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

Android实现两台手机屏幕共享和远程控制功能

《Android实现两台手机屏幕共享和远程控制功能》在远程协助、在线教学、技术支持等多种场景下,实时获得另一部移动设备的屏幕画面,并对其进行操作,具有极高的应用价值,本项目旨在实现两台Android手... 目录一、项目概述二、相关知识2.1 MediaProjection API2.2 Socket 网络

Redis消息队列实现异步秒杀功能

《Redis消息队列实现异步秒杀功能》在高并发场景下,为了提高秒杀业务的性能,可将部分工作交给Redis处理,并通过异步方式执行,Redis提供了多种数据结构来实现消息队列,总结三种,本文详细介绍Re... 目录1 Redis消息队列1.1 List 结构1.2 Pub/Sub 模式1.3 Stream 结

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》:本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分

Android实现悬浮按钮功能

《Android实现悬浮按钮功能》在很多场景中,我们希望在应用或系统任意界面上都能看到一个小的“悬浮按钮”(FloatingButton),用来快速启动工具、展示未读信息或快捷操作,所以本文给大家介绍... 目录一、项目概述二、相关技术知识三、实现思路四、整合代码4.1 Java 代码(MainActivi

Python实现word文档内容智能提取以及合成

《Python实现word文档内容智能提取以及合成》这篇文章主要为大家详细介绍了如何使用Python实现从10个左右的docx文档中抽取内容,再调整语言风格后生成新的文档,感兴趣的小伙伴可以了解一下... 目录核心思路技术路径实现步骤阶段一:准备工作阶段二:内容提取 (python 脚本)阶段三:语言风格调

Java 正则表达式URL 匹配与源码全解析

《Java正则表达式URL匹配与源码全解析》在Web应用开发中,我们经常需要对URL进行格式验证,今天我们结合Java的Pattern和Matcher类,深入理解正则表达式在实际应用中... 目录1.正则表达式分解:2. 添加域名匹配 (2)3. 添加路径和查询参数匹配 (3) 4. 最终优化版本5.设计思

一文详解如何在Python中从字符串中提取部分内容

《一文详解如何在Python中从字符串中提取部分内容》:本文主要介绍如何在Python中从字符串中提取部分内容的相关资料,包括使用正则表达式、Pyparsing库、AST(抽象语法树)、字符串操作... 目录前言解决方案方法一:使用正则表达式方法二:使用 Pyparsing方法三:使用 AST方法四:使用字

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient