Memorizing Normality to Detect Anomaly ——记忆正常以检测异常

2024-09-06 08:48

本文主要是介绍Memorizing Normality to Detect Anomaly ——记忆正常以检测异常,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Memorizing Normality to Detect Anomaly: Memory-augmented Deep
Autoencoder for Unsupervised Anomaly Detection

记忆正常检测异常:记忆增强型深度自动编码器无监督异常检测

中国人挂了一堆外国人

 

Abstract

深度自动编码器在异常检测中得到了广泛的应用。通过对正常数据的训练,期望自动编码器对异常输入产生比正常输入更高的重建误差,并将其作为识别异常的判据。然而,这一假设在实践中并不总是成立的。已经观察到,有时自动编码器非常“概括”,以至于它也可以很好地重建异常,从而导致异常的遗漏检测。为了改善基于自动编码器的异常检测的这一缺陷,我们提出在自动编码器中增加一个记忆模块,并开发了一种改进的自动编码器,称为记忆扩充自动编码器,即MemAE。给定一个输入,MemAE首先从编码器获取编码,然后将其用作查询以检索最相关的内存项进行重建。在训练阶段,更新存储内容,并鼓励其表示正常数据的原型元素。在测试阶段,学习的记忆将是固定的,并从正常数据的几个选定的记忆记录中获得重构。这种结构很可能会变得像正常样品一样。从而增强重构后的异常误差,用于异常检测。MemAE没有对数据类型的假设,因此一般适用于不同的任务。在不同数据集上的实验表明,MemAE算法具有良好的泛化能力和较高的效率。

  • 这篇文章的目的:AE通常由于强大的性能原因,能很好的重构异常样本,这样就对依赖重构误差来识别异常带来了问题。该文提出了一种新的自动编码器MemAE来解决这个问题,使得重构异常样本时模型的重构误差能良好的体现。
  • 贡献:
  • 使用了存储模块来扩展深度AE,以内存增强的自动编码器,即MemAE
  • 通过attention based memory addressing的存储模块效果优秀
  • 使用可微分的硬收缩算子(differentiable hard shrinkage operator)来引起内存寻址权重的稀疏性(sparsity of the memory addressing weights),隐式的促使memory中的要素想要查询的要查询要素的特征空间中接近( implicitly encourage the memory items to be close to the query in the feature space.)
     
  • 背景:无监督的异常检测是在仅给出正常数据示例的情况下学习正常轮廓,然后将不符合正常轮廓的样本识别为异常,但是这个工作是非常困难的因为缺少人为的监督。当数据点位于高维空间(视频)中时,问题变得更加棘手,因为对高维数据进行建模非常困难。虽然AE的提出用于解决这类问题(在无监督的环境中对高维数据建模),也就是:在正常数据中训练后得到模型,然后将异常数据输入模型,异常数据会出现较大的重建误差而不能重建,正常数据重建误差小可以得到重建数据。但是,有时AE也存在问题(AE can “generalize” so well that it can also reconstruct the abnormal inputs well.)。
  • 结果:该文提出了一种新的自动编码器MemAE来解决这个问题,使得重构异常样本时模型的重构误差能良好的体现。并且由于不需要指定数据和编码方式能使用在各种异常检测问题上,鲁棒性和和效率都很好。
  • 方法 :使用了存储模块来扩展深度AE,以内存增强的自动编码器,即MemAE。
  • 感觉存在的问题:不错的想法,效果也很好,值得仔细看一看。

Introduction

异常检测是一项重要的任务,在各个领域都有关键的应用,例如视频监控[26]。无监督异常检测[47,43,48,32,7]是在仅给出正常数据样本的情况下学习正常轮廓,然后将不符合正常轮廓的样本识别为异常,这是具有挑战性的缺乏人的监督。值得注意的是,当数据点位于高维空间(即视频)中时,问题变得更加困难,因为对高维数据建模是出了名的具有挑战性[47]。深度自动编码器(AE)[2,18]是在无监督环境下对高维数据建模的有力工具。它由用于从输入获得压缩编码的编码器和用于从编码重建数据的解码器组成。编码本质上是一个信息瓶颈,它迫使网络提取高维数据的典型模式。在异常检测中,AE通常通过最小化正常数据上的重构误差来训练,然后使用重构误差作为异常的指示器。通常假设[48,11,45]正常输入的重建误差较低,因为它们接近训练数据,而非正常输入的重建误差变高。然而,这一假设并不总是成立的,有时AE可以很好地“泛化”,以至于它也可以很好地重构异常输入。这一观察结果具有现有文献[48,图1]和本文(参见图4和6)中都提出了这一点。由于没有异常的训练样本,并且异常输入的重建行为应该是不可预测的,因此异常引起更高重建误差的假设可能在某种程度上是有问题的。如果某些异常与正常训练数据具有共同的组成模式(例如图像中的局部边缘),或者解码器“太强”而不能很好地解码某些异常编码,则AE很有可能很好地重构这些异常。为了改善AEs的缺点,我们提出在深度自动编码器中增加一个记忆模块,并引入一种新的记忆增强型自动编码器,即MemAE(记忆增强型自动编码器)。给定输入后,MemAE不会直接将其编码提供给解码器,而是将其用作查询以检索内存中最相关的项。然后,这些项目被聚合并传送到解码器。具体地说,上述过程是通过使用基于注意力的存储器寻址来实现的。我们进一步提出使用可微硬收缩算子来诱导记忆寻址权重的稀疏性,这隐含地鼓励记忆项在特征空间中更接近于查询。在MemAE的训练阶段,我们与编码器和解码器一起更新记忆内容。由于稀疏寻址策略,MemAE模型被鼓励优化和高效地使用有限数量的存储器槽,使存储器记录正常训练数据中的典型正常模式,以获得较低的平均重建误差(见图3)。在测试阶段,学习到的记忆内容是固定的,通过选择少量的正常记忆项作为输入编码的邻域进行重构。因为重建是在内存中获得正常模式,所以它趋向于接近正常数据。因此,如果输入与正常数据不相似,即异常,则重建误差倾向于突出显示。示意图如图1所示。所提出的MemAE没有对数据类型的假设,因此可以普遍应用于解决不同的任务。我们将提出的MemAE应用于不同应用领域的各种公共异常检测数据集。大量实验证明了MemAE算法具有良好的泛化能力和高效性。

 

这篇关于Memorizing Normality to Detect Anomaly ——记忆正常以检测异常的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1141557

相关文章

关于MongoDB图片URL存储异常问题以及解决

《关于MongoDB图片URL存储异常问题以及解决》:本文主要介绍关于MongoDB图片URL存储异常问题以及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录MongoDB图片URL存储异常问题项目场景问题描述原因分析解决方案预防措施js总结MongoDB图

一文详解Java异常处理你都了解哪些知识

《一文详解Java异常处理你都了解哪些知识》:本文主要介绍Java异常处理的相关资料,包括异常的分类、捕获和处理异常的语法、常见的异常类型以及自定义异常的实现,文中通过代码介绍的非常详细,需要的朋... 目录前言一、什么是异常二、异常的分类2.1 受检异常2.2 非受检异常三、异常处理的语法3.1 try-

usb接口驱动异常问题常用解决方案

《usb接口驱动异常问题常用解决方案》当遇到USB接口驱动异常时,可以通过多种方法来解决,其中主要就包括重装USB控制器、禁用USB选择性暂停设置、更新或安装新的主板驱动等... usb接口驱动异常怎么办,USB接口驱动异常是常见问题,通常由驱动损坏、系统更新冲突、硬件故障或电源管理设置导致。以下是常用解决

Java Optional避免空指针异常的实现

《JavaOptional避免空指针异常的实现》空指针异常一直是困扰开发者的常见问题之一,本文主要介绍了JavaOptional避免空指针异常的实现,帮助开发者编写更健壮、可读性更高的代码,减少因... 目录一、Optional 概述二、Optional 的创建三、Optional 的常用方法四、Optio

Java异常架构Exception(异常)详解

《Java异常架构Exception(异常)详解》:本文主要介绍Java异常架构Exception(异常),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. Exception 类的概述Exception的分类2. 受检异常(Checked Exception)

Java报NoClassDefFoundError异常的原因及解决

《Java报NoClassDefFoundError异常的原因及解决》在Java开发过程中,java.lang.NoClassDefFoundError是一个令人头疼的运行时错误,本文将深入探讨这一问... 目录一、问题分析二、报错原因三、解决思路四、常见场景及原因五、深入解决思路六、预http://www

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例

Pycharm安装报错:Cannot detect a launch configuration解决办法

《Pycharm安装报错:Cannotdetectalaunchconfiguration解决办法》本文主要介绍了Pycharm安装报错:Cannotdetectalaunchconfigur... 本文主要介绍了Pycharm安装报错:Cannot detect a launch configuratio

Java捕获ThreadPoolExecutor内部线程异常的四种方法

《Java捕获ThreadPoolExecutor内部线程异常的四种方法》这篇文章主要为大家详细介绍了Java捕获ThreadPoolExecutor内部线程异常的四种方法,文中的示例代码讲解详细,感... 目录方案 1方案 2方案 3方案 4结论方案 1使用 execute + try-catch 记录

解决java.lang.NullPointerException问题(空指针异常)

《解决java.lang.NullPointerException问题(空指针异常)》本文详细介绍了Java中的NullPointerException异常及其常见原因,包括对象引用为null、数组元... 目录Java.lang.NullPointerException(空指针异常)NullPointer