基于GAN的多变量时间序列污染训练集异常检测

2024-04-11 13:20

本文主要是介绍基于GAN的多变量时间序列污染训练集异常检测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

图片

论文地址:https://ieeexplore.ieee.org/document/9618824

论文源码:https://github.com/sxxmason/FGANomaly

期刊:IEEE Transactions on Knowledge and Data Engineering

图片

图片

图片

多元时间序列异常检测在结构健康监测、智能运维、量化交易等诸多实际应用中具有巨大的应用潜力。极端不平衡的训练集和噪声干扰使得准确捕获正态数据的分布并检测异常具有挑战性。近年来,人们提出了数十种基于自动编码器(AE)和生成对抗网络(GAN)的方法来学习正常数据的潜在表示,然后基于重建误差检测异常。

然而,现有的基于人工神经网络的方法缺乏针对异常检测任务设计的有效正则化方法,容易过拟合,而基于GAN的方法大多是在无污染的训练集假设下进行训练,这意味着训练集全部由正常样本组成,在实践中很难满足这一要求。

为了解决这些问题,本文提出了一种基于GAN的多变量时间序列异常检测方法FGANomaly(字母F代表Filter)。其核心思想是在训练鉴别器之前用伪标签过滤可能的异常样本,从而尽可能精确地捕获正态数据的分布。此外,我们为生成器设计了一个新的训练目标,使生成器更专注于合理的正常数据而忽略异常。

我们在四个公共数据集上进行了全面的实验,实验结果表明我们的方法在性能和鲁棒性方面都优于基线。

图片

图片

这个框架呈现的是一个三部分的模型,包括生成器、过滤器和鉴别器:

生成器(Generator):生成器由两个主要部分组成:编码器和解码器。输入数据首先被编码器转化成低维编码,然后解码器将这个编码重构回原始数据空间。这个过程生成了重构的样本,并能够计算输入样本和重构样本之间的重构误差。

过滤器(Filter):过滤器接收原始输入和重构误差,它的任务是筛选可能的正常样本。这意味着它可以识别那些与重构样本差异较小的输入样本,将它们作为正常数据。这个过程中筛选出来的样本会被认为是干净的样本,并将被用于训练鉴别器。

鉴别器(Discriminator):鉴别器的工作是区分真实的输入样本和生成器产生的样本。在这个上下文中,‘真实’样本可能指的是过滤器筛选过的样本。鉴别器通过接受这些经过过滤的输入(即过滤后的干净样本)来进行训练,目的是学会辨别出真正的异常样本。

图片

图片

图片

图片

图片

本文提出了一种基于GAN的多元时间序列异常检测方法。针对传统的基于AE和基于GAN的异常检测方法存在的过拟合问题,我们提出了Filter GAN,在训练鉴别器之前对可能的异常样本进行筛选,使模型能够准确地捕捉到正态数据的分布,并为生成器设计了一个特殊的目标Adaptive Weight Loss,在训练过程中根据不同点的重构误差动态分配权重。为了评估所提出的方法,我们在四个公共数据集上进行了综合实验,实验结果表明,我们的模型在性能和鲁棒性方面都具有优势。为了对模型有一些深入的了解,我们做了一个案例研究来可视化结果,结果表明我们的模型学习了正态分布和异常分布之间的清晰边界,从而能够很好地检测异常。此外,还有一些需要改进的地方,如多元时间序列中不同维度之间的信息融合,这是未来工作的重要研究方向。

论文下载地址:

链接:https://pan.baidu.com/s/19vw0ZoVirnGEFcDSdv1Nqw 
提取码:1msi 
--来自百度网盘超级会员V6的分享

这篇关于基于GAN的多变量时间序列污染训练集异常检测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/894189

相关文章

Python如何实现PDF隐私信息检测

《Python如何实现PDF隐私信息检测》随着越来越多的个人信息以电子形式存储和传输,确保这些信息的安全至关重要,本文将介绍如何使用Python检测PDF文件中的隐私信息,需要的可以参考下... 目录项目背景技术栈代码解析功能说明运行结php果在当今,数据隐私保护变得尤为重要。随着越来越多的个人信息以电子形

如何利用Java获取当天的开始和结束时间

《如何利用Java获取当天的开始和结束时间》:本文主要介绍如何使用Java8的LocalDate和LocalDateTime类获取指定日期的开始和结束时间,展示了如何通过这些类进行日期和时间的处... 目录前言1. Java日期时间API概述2. 获取当天的开始和结束时间代码解析运行结果3. 总结前言在J

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

关于最长递增子序列问题概述

《关于最长递增子序列问题概述》本文详细介绍了最长递增子序列问题的定义及两种优化解法:贪心+二分查找和动态规划+状态压缩,贪心+二分查找时间复杂度为O(nlogn),通过维护一个有序的“尾巴”数组来高效... 一、最长递增子序列问题概述1. 问题定义给定一个整数序列,例如 nums = [10, 9, 2

修改若依框架Token的过期时间问题

《修改若依框架Token的过期时间问题》本文介绍了如何修改若依框架中Token的过期时间,通过修改`application.yml`文件中的配置来实现,默认单位为分钟,希望此经验对大家有所帮助,也欢迎... 目录修改若依框架Token的过期时间修改Token的过期时间关闭Token的过期时js间总结修改若依

Go Mongox轻松实现MongoDB的时间字段自动填充

《GoMongox轻松实现MongoDB的时间字段自动填充》这篇文章主要为大家详细介绍了Go语言如何使用mongox库,在插入和更新数据时自动填充时间字段,从而提升开发效率并减少重复代码,需要的可以... 目录前言时间字段填充规则Mongox 的安装使用 Mongox 进行插入操作使用 Mongox 进行更

Spring Boot统一异常拦截实践指南(最新推荐)

《SpringBoot统一异常拦截实践指南(最新推荐)》本文介绍了SpringBoot中统一异常处理的重要性及实现方案,包括使用`@ControllerAdvice`和`@ExceptionHand... 目录Spring Boot统一异常拦截实践指南一、为什么需要统一异常处理二、核心实现方案1. 基础组件

对postgresql日期和时间的比较

《对postgresql日期和时间的比较》文章介绍了在数据库中处理日期和时间类型时的一些注意事项,包括如何将字符串转换为日期或时间类型,以及在比较时自动转换的情况,作者建议在使用数据库时,根据具体情况... 目录PostgreSQL日期和时间比较DB里保存到时分秒,需要和年月日比较db里存储date或者ti

浅析Rust多线程中如何安全的使用变量

《浅析Rust多线程中如何安全的使用变量》这篇文章主要为大家详细介绍了Rust如何在线程的闭包中安全的使用变量,包括共享变量和修改变量,文中的示例代码讲解详细,有需要的小伙伴可以参考下... 目录1. 向线程传递变量2. 多线程共享变量引用3. 多线程中修改变量4. 总结在Rust语言中,一个既引人入胜又可

SpringBoot使用Apache Tika检测敏感信息

《SpringBoot使用ApacheTika检测敏感信息》ApacheTika是一个功能强大的内容分析工具,它能够从多种文件格式中提取文本、元数据以及其他结构化信息,下面我们来看看如何使用Ap... 目录Tika 主要特性1. 多格式支持2. 自动文件类型检测3. 文本和元数据提取4. 支持 OCR(光学