Lossy Compression for Robust Unsupervised Time-Series Anomaly Detection 翻译（有PPT）自留学习

本文主要是介绍Lossy Compression for Robust Unsupervised Time-Series Anomaly Detection 翻译（有PPT）自留学习，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

原论文链接：2212.02303.pdf (arxiv.org)

数据集链接：SKAB - Skoltech Anomaly Benchmark | Kaggle

建议先了解：Johannes Ballé, David Minnen, Saurabh Singh, Sung Jin Hwang, and Nick Johnston. Variational image compression with a scale hyperprior. International Conference on Learning Representations (ICLR), 2018. 1, 2, 3, 4, 8 这篇论文。

在这项工作中，我们提出了一种新的有损因果时序卷积神经网络（Lossy Causal Temporal Convolutional Neural Network，TCN）自编码器，用于异常检测。使用速率失真损失和熵限制来学习任务的压缩潜在表示。

在第2节中，我们强调了在异常检测的背景下如何将有损压缩与变分模型相结合，并概述了如何使用率失真优化（RDO）目标实现压缩表示。

• 在第3节中，我们详细介绍了本文中使用的时间卷积神经网络自编码器（TCN-AE）模型，特别是如何将因果扩张卷积操作和熵瓶颈纳入自编码器架构。

• 在第4节中，我们详细介绍了实验过程，其中第4.1节概述了用于实验验证的数据集，第4.2节详细说明了如何在时间序列数据上使用TCN-AE进行异常检测（1-shot），第4.3节呈现了1-shot检测结果，第4.4节详细介绍了如何在多次检测方案下扩展异常检测到整个时间序列的检测。

• 最后，在第5节中，我们讨论了我们的结果。

模型如下：

图1. 有损因果时序卷积神经网络自编码器的架构。编码器和解码器是相似的架构，都实现了因果时序堆叠的一维卷积（解码器使用转置卷积），请参见图2。

每个层在时间上跨越200个样本的输入长度，并且每层有128个通道。每个卷积层下方的图例形式为核宽度：扩张尺寸。熵瓶颈与Ballé [4]中所示的一样，在每个卷积（和转置卷积）层下方是一个带有核宽度/步长的键，其下方有一个向下箭头⬇表示下采样，一个向上箭头⬆表示上采样。向量z是参数化变换的结果，σ是用于压缩潜变量y的标准差的空间分布。

我们的实验表明，我们的 RDO 方案在实施过程中的熵瓶颈我们的 RDO 方案有效地规整了使整个系统对训练过程中出现的异常值保持稳健。对训练过程中出现的异常值保持稳健。这一点在与具有表现力的 AE 编码器-解码器网络（128 个通道）在类似条件下（包括异常情况）进行的训练相比，可以明显看出这一点： AE 网络对所有数据的拟合度相同，显示出次优的异常检测性能。异常检测器性能不佳。相比之下，我们的 RDO 方案则不会出现这种情况，而且它的异常检测性能优于目前的技术水平在多达 10%的异常数据下，我们的 RDO 方案在异常检测方面优于目前的技术水平。

在第1节中，提到了过度训练的自编码器(AE)模型重构异常数据的趋势。当比较表1中通道宽度为30和128的自编码器模型(AE)的结果时，这一趋势尤为明显。具有较小容量(30通道)的模型在异常检测任务中持续表现优于较大模型。我们推测，这是由于较小模型表达能力的限制，迫使模型仅表示更可能的行为（即正常模式）。相同数据训练的更具表达力的架构通过熵瓶颈（即压缩）能够稳健地学习正常性，并且在不损害重建性能的情况下受限于速率进行有效的正则化。图4中的“异常%”增加到5%时，有损(RDO)模型的性能得到改善，这似乎是由于训练规模增加，其具备从额外数据中稳健地过滤出异常内容的能力与两个AE模型不同的性能急剧下降相比。我们推测，有损模型性能的改善很可能是由信号信息的改进和噪声的相对较小增加所致，探索有损模型性能与源信号噪声比之间的关系将是未来工作的研究主题。