时间序列|change point detection

2024-09-08 09:32

本文主要是介绍时间序列|change point detection,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

change point detection 被称为变点检测,其基本定义是在一个序列或过程中,当某个统计特性(分布类型、分布参数)在某时间点受系统性因素而非偶然因素影响发生变化,我们就称该时间点为变点。变点识别即利用统计量或统计方法或机器学习方法将该变点位置估计出来。

Change Point Detection的类型

  • online
    指连续观察某一随机过程,监测到变点时停止检验,不运用到未来数据,主要用于事件预警。
  • offline
    从已经获得的时序数列中检测过去的变点位置,主要用作历史检验。

1. 控制图方法CUSUM

#####原画与介绍
根据累计数据微小的偏差,来探测数据分布是否发生了变化。这也是最古老最原始的,被业界广泛应用于工业质量检测、自动监测、金融方面。比如被阿里用于全景业务平台的监控解决方案。

基本模型流程

param: threshold
input:time series
for 0---->n:计算累计偏差量
如果累计偏差量大于阈值threshold,则视为这段time series与前段time series有明显不同,分割出两个区间windows,从开始出现偏差的点,可以推出change point
output:windows, change points

优缺点

  • 缺点:需要调参threshold,太小模型太敏感,太大模型太粗糙。
    解决方案:动态阈值预测:样本选择---->异常样本筛除—>样本截取—>预测基准值(一阶导数的状态值)。

  • 优点:比较简单,比较容易实施。业界研究与应用比较多,可以找到很相关材料与优化方法。

2. Probability Density Estimation

#####想法与原理
对于一组时间序列,出现change point前与出现change point后的概率密度分布会不同。

基本模型流程

  1. 用前n个点,probability density models—》estimate probability density function
  2. 然后用score来衡量,加入这个点后,概率密度分布的差异(加入这个点后,概率密度分布的变化大小 )
  3. score越高,这个点是change point的概率越高。

优缺点

  • 缺点:概率密度估计模型的确立,带参数。并且,probability density function很难做的准确,需要很大的数据量。

3. Direct Compute

想法

因为概率密度分布很难做的准确,因此衍生出了不计算评估概率密度分布,而是直接一个point前后的概率目的分布的差异,对于一个点前的数据和之后的数据,用一些模型/算法可以衡量他前后分布的差异。

可以比较多种差异:

  • 均值
  • 方差
  • 均值与方差

相关的模型:量化两种概率分布P和Q之间差异

  • Kernel Mean
  • non-parametric Gaussian kernel model
  • Kulback-Leibler Importance Estimation Procedure
  • Kernel FDA

如何分割time series?

  • BinSegment
  • bottom-up
  • Window-based
  • Segment Neighbourhood

优缺点
该方法很容易受data noise的影响,高维度可能效果很差。

4. Probability Method

对比change point前后分布的不同,这部分侧重于直接预测某个点是否是change point.

(1)Gaussian Process

想法:用t之前的N点构建一个time series prediction 的模型(这里就是GP模型),如果t点的值和预测的值偏差很大,就记一个potential Alarm,当连续几个值偏差很大,potential Alarm超过某个阈值时,就Raise Alarm,说明出现新的分布。

优缺点

这个方法对one-day-event不敏感。

###(2)Bayesian
一开始和GP差不多。

想法:对于一个点,给定他在上一个change point之后的信息,估计这个点是change point的概率。

优缺点
先验函数很难定义,定的不好,结果不准 。

一般来说offline的方法比online的更准确,然后GP会比Bayesian更准确。

5. Clustering Method

把change point detection看成,将time series分成很多的clusters。

  • (1)层次聚类:将许多time series进行聚类,在同一类中,如果有一个time series的行为与同聚类内其它成员差异较大,则视作发生了change。
  • (2)图形聚类:
  • (3)基于局部图形聚类与分割

6. 其它

基于图论、基于控制论、系统辩识方法等。

参考文献

[1]. Aminikhanghahi, Samaneh and Diane J. Cook. “A survey of methods for time series change point detection.” Knowledge and Information Systems 51 (2016): 339-367.

[2]. Liu, Song, Makoto Yamada, Nigel Collier and Masashi Sugiyama. “Change-Point Detection in Time-Series Data by Relative Density-Ratio Estimation.” Neural networks : the official journal of the International Neural Network Society 43 (2012): 72-83.

[3]. Itoh, Naoki and Juergen Kurths. “Change-Point Detection of Climate Time Series by Nonparametric Method.” (2010).

[4]. Cho, Haeran and Piotr Fryzlewicz. “Multiple change-point detection for high-dimensional time series via Sparsified Binary Segmentation.” (2013).

[5]. Saatci, Yunus, Ryan D. Turner and Carl E. Rasmussen. “Gaussian Process Change Point Models.” ICML (2010).

[6]. Lacasa, Lucas, Bartolo Luque, Fernando J Ballesteros, Jordi Luque and Juan Carlos Nuño. “From time series to complex networks: the visibility graph.” Proceedings of the National Academy of Sciences of the United States of America 105 13 (2008): 4972-5.

[7]. Harchaoui, Zaïd, Francis R. Bach and Eric Moulines. “Kernel Change-point Analysis.” NIPS (2008).

[8]. Jeske, Daniel R., Veronica Montes De Oca, Wolfgang Bischoff and Mazda Marvasti. “Cusum techniques for timeslot sequences with applications to network surveillance.” Computational Statistics & Data Analysis 53 (2009): 4332-4344.

[9]. Chib, Siddhartha and John M. Olin. “Estimation and comparison of multiple change-point models.” (1997).

这篇关于时间序列|change point detection的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1147738

相关文章

Java中Date、LocalDate、LocalDateTime、LocalTime、时间戳之间的相互转换代码

《Java中Date、LocalDate、LocalDateTime、LocalTime、时间戳之间的相互转换代码》:本文主要介绍Java中日期时间转换的多种方法,包括将Date转换为LocalD... 目录一、Date转LocalDateTime二、Date转LocalDate三、LocalDateTim

golang获取当前时间、时间戳和时间字符串及它们之间的相互转换方法

《golang获取当前时间、时间戳和时间字符串及它们之间的相互转换方法》:本文主要介绍golang获取当前时间、时间戳和时间字符串及它们之间的相互转换,本文通过实例代码给大家介绍的非常详细,感兴趣... 目录1、获取当前时间2、获取当前时间戳3、获取当前时间的字符串格式4、它们之间的相互转化上篇文章给大家介

Feign Client超时时间设置不生效的解决方法

《FeignClient超时时间设置不生效的解决方法》这篇文章主要为大家详细介绍了FeignClient超时时间设置不生效的原因与解决方法,具有一定的的参考价值,希望对大家有一定的帮助... 在使用Feign Client时,可以通过两种方式来设置超时时间:1.针对整个Feign Client设置超时时间

springboot+dubbo实现时间轮算法

《springboot+dubbo实现时间轮算法》时间轮是一种高效利用线程资源进行批量化调度的算法,本文主要介绍了springboot+dubbo实现时间轮算法,文中通过示例代码介绍的非常详细,对大家... 目录前言一、参数说明二、具体实现1、HashedwheelTimer2、createWheel3、n

CSS will-change 属性示例详解

《CSSwill-change属性示例详解》will-change是一个CSS属性,用于告诉浏览器某个元素在未来可能会发生哪些变化,本文给大家介绍CSSwill-change属性详解,感... will-change 是一个 css 属性,用于告诉浏览器某个元素在未来可能会发生哪些变化。这可以帮助浏览器优化

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

C++从序列容器中删除元素的四种方法

《C++从序列容器中删除元素的四种方法》删除元素的方法在序列容器和关联容器之间是非常不同的,在序列容器中,vector和string是最常用的,但这里也会介绍deque和list以供全面了解,尽管在一... 目录一、简介二、移除给定位置的元素三、移除与某个值相等的元素3.1、序列容器vector、deque

Python如何获取域名的SSL证书信息和到期时间

《Python如何获取域名的SSL证书信息和到期时间》在当今互联网时代,SSL证书的重要性不言而喻,它不仅为用户提供了安全的连接,还能提高网站的搜索引擎排名,那我们怎么才能通过Python获取域名的S... 目录了解SSL证书的基本概念使用python库来抓取SSL证书信息安装必要的库编写获取SSL证书信息

MySQL 日期时间格式化函数 DATE_FORMAT() 的使用示例详解

《MySQL日期时间格式化函数DATE_FORMAT()的使用示例详解》`DATE_FORMAT()`是MySQL中用于格式化日期时间的函数,本文详细介绍了其语法、格式化字符串的含义以及常见日期... 目录一、DATE_FORMAT()语法二、格式化字符串详解三、常见日期时间格式组合四、业务场景五、总结一、