数据质量分析—绘制箱型图

2023-11-26 18:50

本文主要是介绍数据质量分析—绘制箱型图,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

箱型图如下所示:

这里写图片描述

计算过程:

(1)计算上四分位数(Q3),中位数,下四分位数(Q1) 
(2)计算上四分位数和下四分位数之间的差值,即四分位数差(IQR,interquartile range)Q3-Q1 
(3)绘制箱线图的上下范围,上限为上四分位数,下限为下四分位数。在箱子内部中位数的位置绘制横线。 
(4)大于上四分位数1.5倍四分位数差的值,或者小于下四分位数1.5倍四分位数差的值,划为异常值(outliers)。 
(5)异常值之外,最靠近上边缘和下边缘的两个值处,画横线,作为箱线图的触须。 
(6)极端异常值,即超出四分位数差3倍距离的异常值,用实心点表示;较为温和的异常值,即处于1.5倍-3倍四分位数差之间的异常值,用空心点表示。 
(7)为箱线图添加名称,数轴等

 

对于异常值处理可取消异常值,或当作缺失值来处理。

如下是代码,  其中 whis 参数对异常值进行限定。其含义是 大于 上四分位点的whis倍、小于下四分位点whis倍的数值则显示为异常点。

"""
数据质量分析
用箱型图进行异常值检测
"""
import pandas as pd
import matplotlib.pyplot as pltdef box_plot():"""绘制箱型图:return:"""feature = pd.read_csv('./dataset/feature')data = feature['licheng']# plt.boxplot(data, sym="o", whis=1.5)# plt.boxplot(data, sym="o", whis=0.01)plt.boxplot(data, sym="o", whis=1)plt.show()if __name__ == '__main__':box_plot()

 

licheng,youxi,bingbang
40920,8.326976,0.953952
14488,7.153469,1.673904
26052,1.441871,0.805124
75136,13.147394,0.428964
38344,1.669788,0.134296
72993,10.14174,1.0329549999999998
35948,6.830792,1.213192
42666,13.276369,0.54388
67497,8.631577,0.749278
35483,12.273169,1.508053
50242,3.723498,0.831917
63275,8.385879,1.669485
5569,4.875435,0.728658
51052,4.680098,0.625224
77372,15.29957,0.331351
43673,1.889461,0.191283
61364,7.516754,1.269164
69673,14.239195,0.261333
15669,0.0,1.250185
28488,10.528555,1.304844
6487,3.540265,0.822483
37708,2.991551,0.8339200000000001
22620,5.297865,0.638306
28782,6.593803,0.187108
19739,2.81676,1.686209
36788,12.458258,0.649617
5741,0.0,1.656418
28567,9.968648,0.731232
6808,1.364838,0.640103
41611,0.230453,1.151996
36661,11.865402,0.88281
43605,0.12046,1.352013
15360,8.545204,1.340429
63796,5.856649,0.16000599999999998
10743,9.665617999999998,0.778626
70808,9.778763,1.084103
72011,4.932976,0.632026
5914,2.216246,0.587095
14851,14.305635999999998,0.632317
33553,12.591889,0.686581
44952,3.424649,1.004504
17934,0.0,0.147573
27738,8.533823,0.205324
29290,9.829528,0.23862
42330,11.492186,0.263499
36429,3.570968,0.832254
39623,1.7712279999999998,0.207612
32404,3.513921,0.991854
27268,4.398172,0.975024
5477,4.276823,1.174874
14254,5.946014,1.614244
68613,13.79897,0.724375
41539,10.393591,1.6637240000000002
7917,3.007577,0.297302
21331,1.031938,0.486174
8338,4.7512120000000015,0.064693
5176,3.692269,1.655113
18983,10.448091,0.267652
68837,10.585786,0.329557
13438,1.604501,0.069064
48849,3.679497,0.961466
12285,3.795146,0.6966939999999999
7826,2.531885,1.659173
5565,9.73334,0.977746
10346,6.093067,1.413798
1823,7.712960000000002,1.054927
9744,11.470364,0.7604609999999999
16857,2.886529,0.934416
39336,10.054373,1.138351
65230,9.97247,0.881876
2463,2.335785,1.3661450000000002
27353,11.375155,1.528626
16191,0.0,0.6056189999999999
12258,4.126787,0.357501
42377,6.319522,1.058602
25607,8.680527,0.08695499999999999
77450,14.856391,1.129823
58732,2.454285,0.22238
46426,7.292202,0.548607
32688,8.745137,0.857348
64890,8.579001,0.683048
8554,2.507302,0.8691770000000001
28861,11.415476,1.505466
42050,4.83854,1.6808919999999998
32193,10.339507,0.583646
64895,6.573742,1.151433
2355,6.539397,0.462065
0,2.209159,0.723567
70406,11.196378,0.836326
57399,4.229595,0.128253
41732,9.505944,0.005273
11429,8.652725,1.348934
75270,17.101108,0.490712
5459,7.871839,0.717662
73520,8.262131,1.361646
40279,9.015635,1.658555
21540,9.215351,0.806762
17694,6.375007,0.033678
22329,2.262014,1.022169
46570,5.67711,0.7094689999999999
42403,11.293017,0.207976
33654,6.590043,1.353117
9171,4.71196,0.194167
28122,8.768099000000001,1.108041
34095,11.502519,0.545097
1774,4.682812,0.578112
40131,12.446578,0.300754
13994,12.908384,1.657722
77064,12.601108,0.974527
11210,3.929456,0.025466
6122,9.751503,1.18205
15341,3.043767,0.8881680000000001
44373,4.391522,0.8071
28454,11.695276,0.6790149999999999
63771,7.879742,0.154263
9217,5.613163,0.933632
69076,9.140172,0.8513
24489,4.258644,0.206892
16871,6.799831,1.221171
39776,8.752758,0.484418
5901,1.123033,1.180352
40987,10.833248,1.585426
7479,3.051618,0.026781
38768,5.308408999999998,0.030683
4933,1.841792,0.028099
32311,2.261978,1.605603
26501,11.573696,1.061347
37433,8.038764,1.08391
23503,10.734007,0.10371500000000003
68607,9.661909,0.350772
27742,9.00585,0.548737
11303,0.0,0.539131
0,5.75714,1.062373
32729,9.164656,1.624565
24619,1.31834,1.436243
42414,14.075597,0.695934
20210,10.10755,1.308398
33225,7.960292999999999,1.21976
54483,6.317292,0.018209
18475,12.664194,0.595653
33926,2.906644,0.581657
43865,2.388241,0.913938
26547,6.024471,0.486215
44404,7.226764,1.255329
16674,4.183997,1.27529
8123,11.850211,1.096981
42747,11.661797,1.167935
56054,3.574967,0.494666
10933,0.0,0.107475
18121,7.9376570000000015

这篇关于数据质量分析—绘制箱型图的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/426166

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

pandas数据过滤

Pandas 数据过滤方法 Pandas 提供了多种方法来过滤数据,可以根据不同的条件进行筛选。以下是一些常见的 Pandas 数据过滤方法,结合实例进行讲解,希望能帮你快速理解。 1. 基于条件筛选行 可以使用布尔索引来根据条件过滤行。 import pandas as pd# 创建示例数据data = {'Name': ['Alice', 'Bob', 'Charlie', 'Dav