基于GAN的多变量时间序列污染训练集异常检测

2024-04-11 13:20

本文主要是介绍基于GAN的多变量时间序列污染训练集异常检测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

图片

论文地址:https://ieeexplore.ieee.org/document/9618824

论文源码:https://github.com/sxxmason/FGANomaly

期刊:IEEE Transactions on Knowledge and Data Engineering

图片

图片

图片

多元时间序列异常检测在结构健康监测、智能运维、量化交易等诸多实际应用中具有巨大的应用潜力。极端不平衡的训练集和噪声干扰使得准确捕获正态数据的分布并检测异常具有挑战性。近年来,人们提出了数十种基于自动编码器(AE)和生成对抗网络(GAN)的方法来学习正常数据的潜在表示,然后基于重建误差检测异常。

然而,现有的基于人工神经网络的方法缺乏针对异常检测任务设计的有效正则化方法,容易过拟合,而基于GAN的方法大多是在无污染的训练集假设下进行训练,这意味着训练集全部由正常样本组成,在实践中很难满足这一要求。

为了解决这些问题,本文提出了一种基于GAN的多变量时间序列异常检测方法FGANomaly(字母F代表Filter)。其核心思想是在训练鉴别器之前用伪标签过滤可能的异常样本,从而尽可能精确地捕获正态数据的分布。此外,我们为生成器设计了一个新的训练目标,使生成器更专注于合理的正常数据而忽略异常。

我们在四个公共数据集上进行了全面的实验,实验结果表明我们的方法在性能和鲁棒性方面都优于基线。

图片

图片

这个框架呈现的是一个三部分的模型,包括生成器、过滤器和鉴别器:

生成器(Generator):生成器由两个主要部分组成:编码器和解码器。输入数据首先被编码器转化成低维编码,然后解码器将这个编码重构回原始数据空间。这个过程生成了重构的样本,并能够计算输入样本和重构样本之间的重构误差。

过滤器(Filter):过滤器接收原始输入和重构误差,它的任务是筛选可能的正常样本。这意味着它可以识别那些与重构样本差异较小的输入样本,将它们作为正常数据。这个过程中筛选出来的样本会被认为是干净的样本,并将被用于训练鉴别器。

鉴别器(Discriminator):鉴别器的工作是区分真实的输入样本和生成器产生的样本。在这个上下文中,‘真实’样本可能指的是过滤器筛选过的样本。鉴别器通过接受这些经过过滤的输入(即过滤后的干净样本)来进行训练,目的是学会辨别出真正的异常样本。

图片

图片

图片

图片

图片

本文提出了一种基于GAN的多元时间序列异常检测方法。针对传统的基于AE和基于GAN的异常检测方法存在的过拟合问题,我们提出了Filter GAN,在训练鉴别器之前对可能的异常样本进行筛选,使模型能够准确地捕捉到正态数据的分布,并为生成器设计了一个特殊的目标Adaptive Weight Loss,在训练过程中根据不同点的重构误差动态分配权重。为了评估所提出的方法,我们在四个公共数据集上进行了综合实验,实验结果表明,我们的模型在性能和鲁棒性方面都具有优势。为了对模型有一些深入的了解,我们做了一个案例研究来可视化结果,结果表明我们的模型学习了正态分布和异常分布之间的清晰边界,从而能够很好地检测异常。此外,还有一些需要改进的地方,如多元时间序列中不同维度之间的信息融合,这是未来工作的重要研究方向。

论文下载地址:

链接:https://pan.baidu.com/s/19vw0ZoVirnGEFcDSdv1Nqw 
提取码:1msi 
--来自百度网盘超级会员V6的分享

这篇关于基于GAN的多变量时间序列污染训练集异常检测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/894189

相关文章

Java Optional避免空指针异常的实现

《JavaOptional避免空指针异常的实现》空指针异常一直是困扰开发者的常见问题之一,本文主要介绍了JavaOptional避免空指针异常的实现,帮助开发者编写更健壮、可读性更高的代码,减少因... 目录一、Optional 概述二、Optional 的创建三、Optional 的常用方法四、Optio

golang获取当前时间、时间戳和时间字符串及它们之间的相互转换方法

《golang获取当前时间、时间戳和时间字符串及它们之间的相互转换方法》:本文主要介绍golang获取当前时间、时间戳和时间字符串及它们之间的相互转换,本文通过实例代码给大家介绍的非常详细,感兴趣... 目录1、获取当前时间2、获取当前时间戳3、获取当前时间的字符串格式4、它们之间的相互转化上篇文章给大家介

Feign Client超时时间设置不生效的解决方法

《FeignClient超时时间设置不生效的解决方法》这篇文章主要为大家详细介绍了FeignClient超时时间设置不生效的原因与解决方法,具有一定的的参考价值,希望对大家有一定的帮助... 在使用Feign Client时,可以通过两种方式来设置超时时间:1.针对整个Feign Client设置超时时间

springboot+dubbo实现时间轮算法

《springboot+dubbo实现时间轮算法》时间轮是一种高效利用线程资源进行批量化调度的算法,本文主要介绍了springboot+dubbo实现时间轮算法,文中通过示例代码介绍的非常详细,对大家... 目录前言一、参数说明二、具体实现1、HashedwheelTimer2、createWheel3、n

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

Java异常架构Exception(异常)详解

《Java异常架构Exception(异常)详解》:本文主要介绍Java异常架构Exception(异常),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. Exception 类的概述Exception的分类2. 受检异常(Checked Exception)

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

Java报NoClassDefFoundError异常的原因及解决

《Java报NoClassDefFoundError异常的原因及解决》在Java开发过程中,java.lang.NoClassDefFoundError是一个令人头疼的运行时错误,本文将深入探讨这一问... 目录一、问题分析二、报错原因三、解决思路四、常见场景及原因五、深入解决思路六、预http://www

C++从序列容器中删除元素的四种方法

《C++从序列容器中删除元素的四种方法》删除元素的方法在序列容器和关联容器之间是非常不同的,在序列容器中,vector和string是最常用的,但这里也会介绍deque和list以供全面了解,尽管在一... 目录一、简介二、移除给定位置的元素三、移除与某个值相等的元素3.1、序列容器vector、deque

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例