深度伪造音频普遍检测的Codecfake数据集和对策

2024-05-11 00:04

本文主要是介绍深度伪造音频普遍检测的Codecfake数据集和对策,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        基于音频语言模型(ALM)的深度伪造音频的扩散,出现了对其负面影响的担忧。如,这项技术可能被用于传播错误信息和虚假新闻,迫切需要有效的检测方法。与通常涉及多步骤过程并以声码器使用结束的传统深度伪造音频生成不同,ALM直接利用神经编解码方法将离散代码解码成音频。此外,由于大规模数据的驱动,ALM展现出显著的鲁棒性和多功能性,为当前的音频深度伪造检测(ADD)模型带来了重大挑战。为了有效检测基于ALM的深度伪造音频,我们从以下三个维度进行优化:

  • 专注于ALM基于音频生成方法的机制,即从神经编解码到波形的转换。
  • 构建Codecfake数据集开源的大规模数据集,包括两种语言、百万级的音频样本以及各种测试条件,专为基于ALM的音频检测量身定制。
  • 提出CSAM策略,实现深度伪造音频的通用检测并解决原始SAM的领域上升偏差问题

1、Codecfake数据集

        Codecfake数据集包含两种语言:英语和中文,共包含1,058,216个音频样本。其中,英语数据来自VCTK数据集,包含248,031个样本;中文数据来自AISHELL3数据集,包含492,716个样本。此外,训练集共包含740,747个样本,验证集共包含92,596个样本,测试集共包含224,873个样本。因此,Codecfake数据集总共包含超过一百万个音频样本

  • 音频采样率:Codecfake数据集中的音频采样率主要使用16kHz和24kHz。具体来说,SoundStream、SpeechTokenizer和FuncCodec使用16kHz的采样率,而Encodec、AudioDec、AcademicCodec和DAC使用24kHz的采样率。
  • 标签及标注:Codecfake数据集提供了真实的标签,用来指示每个样本是真实音频还是伪造音频。

2、如何使用Codecfake数据集Python代码来下载和加载数据集

import os

import requests

import zipfile

# 下载数据集

dataset_url = 'https://zenodo.org/record/5307883/files/codecfake_dataset.zip?download=1'

dataset_path = 'codecfake_dataset.zip'

if not os.path.exists(dataset_path):

    response = requests.get(dataset_url, stream=True)

    with open(dataset_path, 'wb') as file:

        for chunk in response.iter_content(chunk_size=1024):

            if chunk:

                file.write(chunk)

# 加载数据集

with zipfile.ZipFile(dataset_path, 'r') as zip_ref:

    zip_ref.extractall('./codecfake_dataset')

# 此时,您可以加载数据集中的文件并进行相关的分析和处理。

3、CSAM策略

     CSAM(Co-Training Sharpness Aware Minimization)策略是一种用于提高音频深度伪造检测(ADD)模型泛化能力的方法。CSAM策略的核心是在共训练(Co-Training)过程中应用Sharpness Aware Minimization(SAM)的思想,同时解决由于数据集大小不平衡和领域特定伪影导致的领域上升偏差问题。

3.1 CSAM策略的动机

共训练:共训练是指同时使用来自多个领域的数据进行模型训练,以提高模型在不同领域的泛化能力。

SAM:SAM是一种优化方法,用于在非凸优化问题中寻找一个平坦且泛化的最小值。它通过最大化损失函数的梯度来寻找上升方向,从而避免模型陷入过拟合的训练集所对应的尖锐最小值。

领域上升偏差:在共训练过程中,由于不同领域数据量的不平衡,模型可能会偏向于学习数据量较大的领域的特征,而忽略数据量较小的领域。

3.2 CSAM策略的关键点

数据采样器:CSAM定义了一个特定的数据采样器,根据数据集的比例确保每个领域在每个mini-batch中都被均匀地采样。

损失函数计算:在每个mini-batch中,CSAM计算损失函数时,会确保每个领域都根据其数据量比例被随机采样,从而使得上升方向向量在每个mini-batch计算中都包含来自每个领域的梯度。

优化过程:CSAM通过这种方式优化经验风险最小化(ERM)的同时,学习到一个平坦的最小值区域,从而提高了模型在看不见的领域(OOD)上的泛化能力。

3.3 CSAM策略的实现

在实现CSAM策略时,需要考虑以下几点:

  • 数据集的划分:确保共训练的数据集中每个领域都有代表。
  • mini-batch的构建:在构建每个mini-batch时,根据数据集的比例随机采样数据,以避免领域上升偏差。
  • 损失函数的优化:使用SAM的优化方法来寻找一个平坦的最小值,同时在共训练过程中保持领域之间的平衡。

4、三种用于音频深度伪造检测(ADD)的基线模型

Mel-LCNN:这个模型使用Mel-spectrogram(梅尔频谱图)作为前端特征,然后通过轻量级的基于卷积的网络LCNN(Light Convolutional Neural Network)进行处理。LCNN是一个专为音频信号设计的卷积神经网络,它包含一个特定的MFM(Mel-Frequency Magnitudes)层,用于有效筛选有助于验证的特征通道。

W2V2-LCNN:这个模型同样使用Mel-spectrogram作为输入,但前端特征是通过预训练的wav2vec2-XLS-R模型获得的1024维隐藏状态。这些状态被用作LCNN的输入,以利用wav2vec2-XLS-R的强大特征表示能力。

W2V2-AASIST:这个模型使用wav2vec2-XLS-R模型的预训练隐藏状态作为特征,但背骨网络(Backbone network)使用的是AASIST,这是一个在音频深度伪造检测领域中最先进的网络之一。AASIST引入了一种新颖的异构堆叠图注意力层,该层使用异构注意力机制和堆叠节点来模拟不同时间和频域上的特征。

5、实验设置和结果

5.1 实验设置

数据集:使用Codecfake数据集,该数据集包含1,058,216个音频样本,包括132,277个真实样本和925,939个由七种不同编解码方法生成的伪造样本。

训练/验证/测试集:将真实样本分为训练子集(105,821个样本)、开发子集(13,228个样本)和评估子集(13,228个样本)。同样,伪造音频也按照这些类别进行了划分。

基线模型:选择了三种基线模型进行评估,包括Mel-LCNN、W2V2-LCNN和W2V2-AASIST,这些模型使用梅尔频谱图(Mel-spectrogram)和预训练的wav2vec2-XLS-R模型的隐藏状态作为前端特征。

训练细节:所有音频样本首先被下采样到16,000 Hz,并裁剪或填充到4秒的时长。使用Adam优化器进行训练,学习率设置为5×10^-4,并在每个epoch后根据性能进行调整。

评估:使用官方实现的EER计算方法,并使用0.5的阈值来区分真实和伪造的预测。

5.2 结果

Vocoder-trained模型:使用ASVspoof2019LA(19LA)训练集训练的模型在19LA测试集上表现良好,但在Codecfake测试集上表现不佳,表明仅使用声码器训练的模型无法有效检测基于编解码器的音频。

Codec-trained模型:使用Codecfake训练集训练的模型在Codecfake测试条件C1-C7下表现显著提升,其中W2V2-AASIST模型在所有测试条件下平均EER最低,为0.177%。

不同编解码器设置的影响:通过改变编解码器的参数设置(如比特率和量化器),发现这些变化对反欺骗系统的性能影响不大。

ALM-based音频测试:评估了仅使用声码器训练的ADD模型对ALM-based音频的检测效果,发现在某些情况下(如A3)性能下降,这归因于OOD(Out-of-Distribution,即模型未见过的数据分布)问题。

通用ADD方法的对策:提出了一种共训练方法,结合声码器训练的音频和基于编解码器的音频,以确保检测模型在所有场景中表现良好。此外,使用了CSAM方法来优化模型的泛化能力。

CSAM策略的效果:在使用CSAM策略的共训练过程中,模型在所有测试条件下的平均EER最低,为0.616%,表明CSAM策略有效地提高了模型的泛化能力。

这篇关于深度伪造音频普遍检测的Codecfake数据集和对策的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/977941

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

pandas数据过滤

Pandas 数据过滤方法 Pandas 提供了多种方法来过滤数据,可以根据不同的条件进行筛选。以下是一些常见的 Pandas 数据过滤方法,结合实例进行讲解,希望能帮你快速理解。 1. 基于条件筛选行 可以使用布尔索引来根据条件过滤行。 import pandas as pd# 创建示例数据data = {'Name': ['Alice', 'Bob', 'Charlie', 'Dav