SBD算法详解与相关python代码

2023-10-15 04:40

本文主要是介绍SBD算法详解与相关python代码,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文为原创,转载请注明出处,谢谢!

https://blog.csdn.net/qq_22135585/article/details/108830390

 

当涉及到延时情况,如kpi数据,在判断两两特征相关性的时候就不得不考虑SBD算法了。

通过SBD算法,我们可以在不清楚延迟的情况下找到两组数据的相关性,以下来进行详细讲解。

 

SBD算法

       对于时间序列X()及时间序列Y(),两序列间的存在时延为s的关系,计算两条曲线相似度的SBD距离算法如下:

                  

                  NCC(X,Y)=

                  SBD(X,Y)=1-NCC(X,Y)

 

      其中,NCC为序列X,Y的标准化互相关系数,NCC的取值范围在-1到1之间,与皮尔森相关系数类似。 所以最终计算的SBD算法结果在0到2之间,越靠近0时,两组数据相关性越强。当SBD为0时,说明序列X,Y波动曲线一致,为同一序列。在后面的代码中,考虑到输出NCC的值更有统计学意义,因此就直接输出NCC了。

 

      由于SBD算法计算的是距离,因此在计算距离前我们需要进行Z-score归一化处理。

      细心的朋友可以发现,当延迟为0时,归一化后该算法中的ncc值相当于在计算皮尔森相关系数。

      SBD算法的缺点就是计算量大,在类似KPI场景数据量庞大的时候,SBD算法可能无法得到支撑。

      但是,在涉及告警根因分析等问题时,SBD能自动的判断出延迟的位数。

      我们可以通过对比延时的大小,从而准确地判断出故障根因。

  

   注意事项:使用算法时切记要在告警点附近使用!!注意避开周期性的数据,不然可能会出现关联偏差。

 

   好了,废话不多说,这里为大家分享下我写的算法函数:

#SBD距离算法
def calcSBDncc(x,y,s):assert len(x)==len(y)assert isinstance(s,int)length_ = len(x)pow_x = 0pow_y = 0ccs = 0for i in range(length_-s):ccs +=  x[i+s]*y[i]pow_x += math.pow(x[i+s],2)pow_y += math.pow(y[i],2)dist_x =math.pow(pow_x,0.5)dist_y =math.pow(pow_y,0.5)dist_xy = dist_x*dist_yncc = ccs/dist_xyreturn ncc
def calcSBD(x,y,s=None):assert len(x)==len(y)if  s==None:length_ = len(x)ncc_list = []for i in range(int(length_*0.5)):  #这里的0.5保证至少有一半的数据用于相关性的计算了ncc_list.append(calcSBDncc(x,y,i))ncc = max(ncc_list)delay = ncc_list.index(max(ncc_list))sbd = 1 - nccelse:ncc = calcSBDncc(x,y,s)delay = s  #作为告警延时数传递sbd = 1 - ncc #sbd 数据在0-2之间,这里还是返回ncc 更适合相关性解释return ncc,delay

 

 

第一次写原创,请多指教。如果有不明白的地方,欢迎有兴趣的朋友留言交流!

这篇关于SBD算法详解与相关python代码的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/215392

相关文章

Python将博客内容html导出为Markdown格式

《Python将博客内容html导出为Markdown格式》Python将博客内容html导出为Markdown格式,通过博客url地址抓取文章,分析并提取出文章标题和内容,将内容构建成html,再转... 目录一、为什么要搞?二、准备如何搞?三、说搞咱就搞!抓取文章提取内容构建html转存markdown

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

springboot循环依赖问题案例代码及解决办法

《springboot循环依赖问题案例代码及解决办法》在SpringBoot中,如果两个或多个Bean之间存在循环依赖(即BeanA依赖BeanB,而BeanB又依赖BeanA),会导致Spring的... 目录1. 什么是循环依赖?2. 循环依赖的场景案例3. 解决循环依赖的常见方法方法 1:使用 @La

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

使用C#代码在PDF文档中添加、删除和替换图片

《使用C#代码在PDF文档中添加、删除和替换图片》在当今数字化文档处理场景中,动态操作PDF文档中的图像已成为企业级应用开发的核心需求之一,本文将介绍如何在.NET平台使用C#代码在PDF文档中添加、... 目录引言用C#添加图片到PDF文档用C#删除PDF文档中的图片用C#替换PDF文档中的图片引言在当

详解C#如何提取PDF文档中的图片

《详解C#如何提取PDF文档中的图片》提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使用,下面我们就来看看如何使用C#通过代码从PDF文档中提取图片吧... 当 PDF 文件中包含有价值的图片,如艺术画作、设计素材、报告图表等,提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使