【异常分析:四分位距与3σ原则】

2024-06-04 23:04

本文主要是介绍【异常分析:四分位距与3σ原则】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 前言
    • 四分位距(IQR)
    • 3σ原则
    • 使用步骤
      • 计算四分位距
      • 应用3σ原则
    • 代码

前言

异常分析的目标是识别数据中的异常值,这些异常值可能是由于错误的记录、设备故障或者其他未知原因导致的。四分位距(interquartile range, IQR)和3σ原则(3 sigma rule)是两个常用的工具。

四分位距(IQR)

四分位距是统计学中用于度量数据离散程度的一种方法。它是指数据的上四分位数(Q3)与下四分位数(Q1)之间的差值,通常用于识别数据集中的离群值。计算四分位距的公式如下:

IQR=Q3-Q1

其中,Q1是数据的25th百分位数,Q3是数据的75th百分位数。

3σ原则

3σ原则是一种基于正态分布的统计学原则,用于判断数据中的异常值。根据3σ原则,如果数据服从正态分布,那么大约有68%的数据值落在均值加减一个标准差范围内,大约有95%的数据值落在均值加减两个标准差范围内,大约有99.7%的数据值落在均值加减三个标准差范围内。因此,超出均值加减三个标准差范围的数据可以被视为异常值。

使用步骤

计算四分位距

import numpy as np# 计算第一四分位数(Q1)
Q1 = np.percentile(data, 25)# 计算第三四分位数(Q3)
Q3 = np.percentile(data, 75)# 计算四分位距(IQR)
IQR = Q3 - Q1

应用3σ原则

# 计算数据的均值和标准差
mean = np.mean(data)
std_dev = np.std(data)# 计算异常值的阈值
threshold = 3 * std_dev# 根据3σ原则判断异常值
outliers = [x for x in data if abs(x - mean) > threshold]

代码

import numpy as np
import matplotlib.pyplot as plt# 示例数据
data = [100, 150, 200, 250, 300, 350, 400, 450, 500, 1000]# 计算四分位距
Q1 = np.percentile(data, 25)  # 第一四分位数
Q3 = np.percentile(data, 75)  # 第三四分位数
IQR = Q3 - Q1  # 四分位距
print("第一四分位数:", Q1)
print("第三四分位数:", Q3)
print("四分位距:", IQR)
print("异常值范围:", (Q1 - 1.5 * IQR, Q3 + 1.5 * IQR))# 应用3σ原则识别异常值
mean = np.mean(data)
std_dev = np.std(data)
threshold = 3 * std_dev
outliers = [x for x in data if abs(x - mean) > threshold]
print("异常值:", outliers)# 可视化
# 箱型图
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.boxplot(data)
plt.xlabel('数据')
plt.title('数据和异常值')
plt.show()

这篇关于【异常分析:四分位距与3σ原则】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1031379

相关文章

kotlin中const 和val的区别及使用场景分析

《kotlin中const和val的区别及使用场景分析》在Kotlin中,const和val都是用来声明常量的,但它们的使用场景和功能有所不同,下面给大家介绍kotlin中const和val的区别,... 目录kotlin中const 和val的区别1. val:2. const:二 代码示例1 Java

Go标准库常见错误分析和解决办法

《Go标准库常见错误分析和解决办法》Go语言的标准库为开发者提供了丰富且高效的工具,涵盖了从网络编程到文件操作等各个方面,然而,标准库虽好,使用不当却可能适得其反,正所谓工欲善其事,必先利其器,本文将... 目录1. 使用了错误的time.Duration2. time.After导致的内存泄漏3. jsO

Spring事务中@Transactional注解不生效的原因分析与解决

《Spring事务中@Transactional注解不生效的原因分析与解决》在Spring框架中,@Transactional注解是管理数据库事务的核心方式,本文将深入分析事务自调用的底层原理,解释为... 目录1. 引言2. 事务自调用问题重现2.1 示例代码2.2 问题现象3. 为什么事务自调用会失效3

Java异常架构Exception(异常)详解

《Java异常架构Exception(异常)详解》:本文主要介绍Java异常架构Exception(异常),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. Exception 类的概述Exception的分类2. 受检异常(Checked Exception)

找不到Anaconda prompt终端的原因分析及解决方案

《找不到Anacondaprompt终端的原因分析及解决方案》因为anaconda还没有初始化,在安装anaconda的过程中,有一行是否要添加anaconda到菜单目录中,由于没有勾选,导致没有菜... 目录问题原因问http://www.chinasem.cn题解决安装了 Anaconda 却找不到 An

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况?这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次?3.1 未启用

Java报NoClassDefFoundError异常的原因及解决

《Java报NoClassDefFoundError异常的原因及解决》在Java开发过程中,java.lang.NoClassDefFoundError是一个令人头疼的运行时错误,本文将深入探讨这一问... 目录一、问题分析二、报错原因三、解决思路四、常见场景及原因五、深入解决思路六、预http://www

C++ 各种map特点对比分析

《C++各种map特点对比分析》文章比较了C++中不同类型的map(如std::map,std::unordered_map,std::multimap,std::unordered_multima... 目录特点比较C++ 示例代码 ​​​​​​代码解释特点比较1. std::map底层实现:基于红黑

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例

Spring、Spring Boot、Spring Cloud 的区别与联系分析

《Spring、SpringBoot、SpringCloud的区别与联系分析》Spring、SpringBoot和SpringCloud是Java开发中常用的框架,分别针对企业级应用开发、快速开... 目录1. Spring 框架2. Spring Boot3. Spring Cloud总结1. Sprin