【AI视野·今日Sound 声学论文速览 第二十六期】Mon, 16 Oct 2023

2023-10-19 07:04

本文主要是介绍【AI视野·今日Sound 声学论文速览 第二十六期】Mon, 16 Oct 2023,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

AI视野·今日CS.Sound 声学论文速览
Mon, 16 Oct 2023
Totally 7 papers
👉上期速览✈更多精彩请移步主页

在这里插入图片描述

Daily Sound Papers

Low-latency Speech Enhancement via Speech Token Generation
Authors Huaying Xue, Xiulian Peng, Yan Lu
现有的基于深度学习的语音增强主要采用数据驱动的方法,利用大量具有各种噪声类型的数据来实现从噪声信号中去除噪声。然而,对数据的高度依赖性限制了其对现实生活环境中看不见的复杂噪声的泛化。在本文中,我们关注低延迟场景,并将语音增强视为以噪声信号为条件的语音生成问题,我们生成干净的语音,而不是识别和消除噪声。具体来说,我们提出了一种用于语音增强的条件生成框架,该框架通过神经语音编解码器的声学代码对干净的语音进行建模,并以自回归的方式生成以过去的噪声帧为条件的语音代码。此外,我们提出了一种显式对齐方法,将噪声帧与生成的语音标记对齐,以提高不同输入长度的鲁棒性和可扩展性。与其他利用多级生成语音代码的方法不同,我们利用基于 TF Codec 神经编解码器的单级语音生成方法来实现低延迟的高语音质量。

Transformer-based Autoencoder with ID Constraint for Unsupervised Anomalous Sound Detection
Authors Jian Guan, Youde Liu, Qiuqiang Kong, Feiyang Xiao, Qiaoxi Zhu, Jiantong Tian, Wenwu Wang
无监督异常声音检测 ASD 旨在在只有正常声音数据的情况下检测设备的未知异常声音。基于自动编码器AE和自监督学习的方法是两种主流方法。然而,基于 AE 的方法可能受到限制,因为从正常声音中学习的特征也可以适合异常声音,从而降低了模型从声音中检测异常的能力。自监督方法并不总是稳定并且表现不同,即使对于相同类型的机器也是如此。此外,异常声音可能持续时间很短,使其更难以与正常声音区分开。本文提出了一种基于 ID 约束 Transformer 的自动编码器 IDC TransAE 架构,具有针对无监督 ASD 的加权异常分数计算。采用机器ID来约束基于Transformer的自动编码器TransAE的潜在空间,通过引入简单的ID分类器来学习相同机器类型的分布差异,并增强模型区分异常声音的能力。此外,引入加权异常分数计算来突出仅出现时间较短的异常事件的异常分数。

Differential Evolution Algorithm based Hyper-Parameters Selection of Convolutional Neural Network for Speech Command Recognition
Authors Sandipan Dhar, Anuvab Sen, Aritra Bandyopadhyay, Nanda Dulal Jana, Arjun Ghosh, Zahra Sarayloo
语音命令识别 SCR 负责识别简短的语音命令,对于包括物联网设备和辅助技术在内的各种应用至关重要。尽管卷积神经网络 CNN 在 SCR 任务中展现出了良好的前景,但其功效在很大程度上依赖于超参数选择,而手动完成时通常既费力又耗时。本文介绍了一种基于差分进化 DE 算法的 CNN 超参数选择方法,旨在提高 SCR 任务的性能。使用 Google Speech Command GSC 数据集进行训练和测试,所提出的方法显示了对语音命令进行分类的有效性。

Learning to Behave Like Clean Speech: Dual-Branch Knowledge Distillation for Noise-Robust Fake Audio Detection
Authors Cunhang Fan, Mingming Ding, Jianhua Tao, Ruibo Fu, Jiangyan Yi, Zhengqi Wen, Zhao Lv
大多数虚假音频检测 FAD 的研究都集中于提高标准无噪声数据集的性能。然而,在实际情况中,通常存在噪声干扰,这会导致FAD系统的性能显着下降。为了提高噪声鲁棒性,我们提出了一种双分支知识蒸馏假音频检测 DKDFAD 方法。具体来说,设计了干净教师分支和噪声学生分支的并行数据流,并提出了基于交互融合和响应的师生范式,从数据分布和决策角度指导噪声数据的训练。在噪声分支中,首先引入语音增强进行去噪,减少强噪声的干扰。所提出的交互式融合结合了去噪特征和噪声特征,以减少语音失真的影响并寻求与干净分支的数据分布的一致性。师生范式将学生的决策空间映射到教师的决策空间,使嘈杂的语音表现得干净。此外,还采用联合训练方法对两个分支进行优化,以实现全局最优。

CompA: Addressing the Gap in Compositional Reasoning in Audio-Language Models
Authors Sreyan Ghosh, Ashish Seth, Sonal Kumar, Utkarsh Tyagi, Chandra Kiran Evuru, S. Ramaneswaran, S. Sakshi, Oriol Nieto, Ramani Duraiswami, Dinesh Manocha
音频的一个基本特征是它的组合性质。使用对比方法训练的音频语言模型 ALM,例如学习音频和语言模态之间共享表示的 CLAP,提高了许多下游应用的性能,包括零样本音频分类、音频检索等。然而,这些模型有效地执行组合推理在很大程度上仍未被探索,需要进行额外的研究。在本文中,我们提出了 CompA,这是两个专家注释基准的集合,其中包含大多数现实世界的音频样本,用于评估 ALM 中的组合推理。我们提出的 CompA 顺序评估 ALM 对音频中声学事件的顺序或发生的理解程度,CompA 属性评估声学事件的属性绑定。任一基准测试的实例都包含两个音频字幕对,其中两个音频具有相同的声学事件,但成分不同。 ALM 根据正确音频与正确字幕的匹配程度进行评估。使用这个基准,我们首先表明当前的 ALM 的性能仅比随机机会好一点,因此在组合推理方面遇到了困难。接下来,我们提出 CompA CLAP,其中我们使用一种新颖的学习方法对 CLAP 进行微调,以提高其组合推理能力。为了训练 CompA CLAP,我们首先提出对具有构图感知硬底片的对比训练进行改进,从而实现更有针对性的训练。接下来,我们提出了一种新颖的模块化对比损失,可以帮助模型学习细粒度的作曲理解,并克服公开可用的作曲音频的严重稀缺性。

Toward Joint Language Modeling for Speech Units and Text
Authors Ju Chieh Chou, Chung Ming Chien, Wei Ning Hsu, Karen Livescu, Arun Babu, Alexis Conneau, Alexei Baevski, Michael Auli
语音和文本是人类语言的两种主要形式。多年来,研究界一直致力于将语音映射到文本,反之亦然。然而,在语言建模领域,很少有人对它们进行联合建模。鉴于此,我们探索语音单元和文本的联合语言建模。具体来说,我们比较不同的语音标记器将连续语音信号转换为离散单元,并使用不同的方法构建混合语音文本数据。我们引入自动指标来评估联合 LM 混合语音和文本的效果。我们还对具有不同模态语音或文本的下游口语理解 SLU 任务的 LM 进行微调,并测试其性能以评估模型对共享表示的学习。

End-to-end Online Speaker Diarization with Target Speaker Tracking
Authors Weiqing Wang, Ming Li
本文提出了一种用于说话人二值化任务的在线目标说话者语音活动检测系统,该系统不需要基于聚类的二值化系统的先验知识来获得目标说话者嵌入。通过采用传统的目标说话者语音活动检测进行实时操作,该框架可以使用自生成的嵌入来识别说话者活动,从而在推理阶段获得一致的性能,而不会出现排列不一致的情况。在推理过程中,我们采用前端模型来提取每个即将到来的信号块的帧级说话人嵌入。接下来,我们根据这些帧级说话人嵌入和先前估计的目标说话人嵌入来预测每个说话人的检测状态。然后,根据当前块中的预测聚合这些帧级说话人嵌入来更新目标说话人嵌入。我们的模型预测每个块的结果并更新目标扬声器嵌入,直到到达信号末尾。实验结果表明,该方法在 DIHARD III 和 AliMeeting 数据集上优于基于离线聚类的二值化系统。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页


pic from pexels.com

这篇关于【AI视野·今日Sound 声学论文速览 第二十六期】Mon, 16 Oct 2023的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/238160

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件,然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它,快速获取到想要知道的信息。https://www.chatpdf.com/

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡,拥有登录权限的账号密码,一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 (如果是1集群把75改成66) 交互式开发 执行器选Terminal 密码随便设一个(需记住) 工作空间:私有数据、全部文件 加速器选GeForce_RTX_2080_Ti

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU

2024网安周今日开幕,亚信安全亮相30城

2024年国家网络安全宣传周今天在广州拉开帷幕。今年网安周继续以“网络安全为人民,网络安全靠人民”为主题。2024年国家网络安全宣传周涵盖了1场开幕式、1场高峰论坛、5个重要活动、15场分论坛/座谈会/闭门会、6个主题日活动和网络安全“六进”活动。亚信安全出席2024年国家网络安全宣传周开幕式和主论坛,并将通过线下宣讲、创意科普、成果展示等多种形式,让广大民众看得懂、记得住安全知识,同时还