Doing Math with Python读书笔记-第3章：Describing Data with Statistics

2024-02-04 12:48
文章标签 python math 读书笔记 data statistics describing

本文主要是介绍Doing Math with Python读书笔记-第3章：Describing Data with Statistics，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

寻找平均值

统计学中的mean，就是数学中的average。

>>> a = list(range(1, 11))
>>> a
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
>>> sum(a)
55
>>> len(a)
10
>>> avg = sum(a)/len(a)
>>> avg
5.5

寻找中位数

median就是统计学中的中位数。
中位数是指序列中一半的数大于它，一半的数小于它。
先将序列中元素排序，如果序列中元素的个数是奇数，则中位数就是中间那个数；如果为偶数，则中位数是中间两个数的平均值。
例如对于序列1到10，中位数就是(5+6)/2，等于5.5，恰好与平均值相等。序列中有一半的数大于它，一半的数小于它。
以下程序演示了平均值和中位值是不同的：

import random
n = 10
num = []
for i in range(n):num.append(random.randint(1, 100))num.sort()mean = sum(num)/len(num)idx = int(n/2)
if n % 2 != 0:median = num[idx]
else:median = (num[idx] + num[idx - 1])/2print(f'List is: {num}')
print(f'mean is {mean}, median is {median}')

运行：

List is: [5, 7, 15, 17, 20, 32, 32, 36, 38, 53]
mean is 25.5, median is 26.0List is: [6, 9, 17, 23, 27, 40, 42, 51, 55, 91]
mean is 36.1, median is 33.5List is: [2, 21, 25, 35, 36, 47, 48, 58, 59, 60]
mean is 39.1, median is 41.5

寻找众数并创建频度表

mode在统计学中称为众数或最频数，是一组数据中出现频次最高的数。
众数可能不止一个。
collections模块中的Counter类可计算众数。

>>> from collections import Counter
>>> a = [1, 2, 2, 3]
>>> c = Counter(a)
>>> c.most_common()		# 按出现频度排序
[(2, 2), (1, 1), (3, 1)]
>>> c.most_common(1)	# 返回出现频度最高的数，1表示前1位的
[(2, 2)]
>>> c.most_common(2)	# 返回出现频度最高的前两位数
[(2, 2), (1, 1)]
>>> c.most_common()[0][0]	# 返回众数
2

寻找众数
由于众数可能有多个，因此需要将most_common()返回第一个元素（tuple）中的频度（这个就是众数出现的频度）记录下来，然后比较余下元素的频度，直到频度小于这个值为止。

创建频度表
例如成绩单，按照分数从低到高出现的频度显示。代码如下：

from collections import Counterscores = [98, 85, 82, 99, 85, 82, 85, 92, 90, 100, 83, 94, 100, 86, 98, 96, 91, 92, 80, 80]
c = Counter(scores).most_common()
c.sort()
for i in range(len(c)):print(f'{c[i][0]}:\t{c[i][1]}');

输出如下：

80:	2
82:	2
83:	1
85:	3
86:	1
90:	1
91:	1
92:	2
94:	1
96:	1
98:	2
99:	1
100:	2

计算离散度

dispersion是指集合中元素与平均值的偏离程度。涉及范围，方差，标准差3个概念。
范围
范围(range)是指集合中最大值和最小值之间的差。

>>> scores = [98, 85, 82, 99, 85, 82, 85, 92, 90, 100, 83, 94, 100, 86, 98, 96, 91, 92, 80, 80]
>>> max(scores)
100
>>> min(scores)
80
>>> range = max(scores) - min(scores)
>>> range
20

方差和标准差
方差(Variance)和标准差(Standard Deviation)。
方差的计算公式：
方 差 = ∑ ( x i − x m e a n ) 2 n 方差=\frac{\sum(x_{i} - x_{mean})^2}{n} 方差=n∑(xi​−xmean​)2​

标 准 差 = 方 差 标准差 = \sqrt{方差} 标准差=方差 ​

常用的是标准差而非方差，因标准差更直观，其也是与集合中的数一个级别。
相同平均值的一组数，其标准差可能差异很大。

计算两个数据集合间的相关性

Pearson correlation coefficient以下简称相关系数，衡量的是线性相关性。
相关系数在[-1, 1]之间，分为正相关和负相关。
correlation doesn’t imply causation意味相关性不代表因果关系。一个典型的例子是冰淇淋的销售上升伴随犯罪率的提高，这两者都和天气变热有关系。即使如此，天气变热和犯罪率上升也非因果关系。

计算相关系数

c o r r e l a t i o n = n ∑ x y − ∑ x ∑ y ( n ∑ x 2 − ( ∑ x ) 2 ) ( n ∑ y 2 − ( ∑ y ) 2 ) correlation=\frac{n\sum{xy} - \sum{x}\sum{y}}{\sqrt{(n\sum{x^2}-(\sum{x})^2)(n\sum{y^2}-(\sum{y})^2)}} correlation=(n∑x2−(∑x)2)(n∑y2−(∑y)2) ​n∑xy−∑x∑y​

实现要点为zip()，zip将两个list中的对应元素组合成tuple，返回list of tuple，这样方便实现 ∑ x y \sum{xy} ∑xy。

>>> x = [1, 2, 3]
>>> y = [4, 5, 6]
>>> list(zip(x, y))
[(1, 4), (2, 5), (3, 6)]
>>> for a,b in zip(x, y):
...     print(a,b)
... 
1 4
2 5
3 6

高中成绩与大学入学考试成绩的关联性
在这个例子里，作者给了10个学生的3组数据集A,B,C。
A为高中多科平均成绩，B仅为数学的平均成绩，C为大学入学考试的成绩。

A = [89, 88, 86, 85, 91, 87, 90, 92, 93, 94] # random.shuffle(B)
B = [85, 86, 87, 88, 89, 90, 91, 92, 93, 94] # list(range(85, 95))
C = [90, 91, 92, 93, 94, 95, 96, 97, 98, 99] # list(range(90, 100))

计算相关性发现，A和C相关性低(0.73)，B和C相关性高(1)。为简化，相关性是通过Excel公式计算的（=CORREL(A1:A10, C1:C10)）。
通过B和C的散点图（scatter plot）发现，其关系接近于线性：
在这里插入图片描述

散点图

以上散点图的绘制如下：

A = [89, 88, 86, 85, 91, 87, 90, 92, 93, 94]
B = [85, 86, 87, 88, 89, 90, 91, 92, 93, 94]
C = [90, 91, 92, 93, 94, 95, 96, 97, 98, 99]
import matplotlib.pyplot as plt
plt.scatter(B, C)
plt.xlabel('high school math grades')
plt.ylabel('college admission test scores')
plt.show()

Anscombe’s quartet是统计学家Francis Anscombe发明的，他发现四个不同的数据集具有几乎相同的统计特性：平均值，方差和相关性。但是通过散点图，可以看出这些数据集之间差异很大。这也表明了数据可视化的重要性，下图来自Wikipedia：
在这里插入图片描述

从文件读取数据

从文本文件读取数据

$ cat data.txt
85
86
87
88
89
90
91
92
93
94
$ cat data.py
with open('data.txt') as f:total = 0for line in f:	# 读取每一行total += float(line)print(f'SUM is {total}')
$ p3 data.py
SUM is 895.0

从CSV文件读取数据
CSV表示comma-separated value。CSV文件由header（可选）和数据组成。

$ cat data.py
import csv
with open('data.csv') as f:reader = csv.reader(f)next(reader)	# 如果没有header，则注释此行for line in reader:print(f'{line[0]} - {line[1]}')
$ p3 data.py
2 -   4 
4 -   16
6 -   36

编程挑战

Google Trend
作者提供的链接已经无效。不过Google Trend上还是可以下载一些数据。

美国年度人口数据增长
数据集从Quandl下载，此网站还有很多开放数据集。
作者的实现有几点可以学习的地方。
第1点是如何翻转list，因为数据是按时间降序的，因此需要翻转。
翻转用reverse()即可，而作者用的是[::-1]，实际这是一个切片，步进值为-1。

>>> a=[1, 3, 5, 7, 9, 2, 4, 6, 8, 10]
>>> a=a[::-1]
>>> a
[10, 8, 6, 4, 2, 9, 7, 5, 3, 1]
>>> a=[1, 3, 5, 7, 9, 2, 4, 6, 8, 10]
>>> a.reverse()
>>> a
[10, 8, 6, 4, 2, 9, 7, 5, 3, 1]

第2点是作者在文件stats.py中实现了方法mean(), median()和variance_sd()。然后在主程序中引入这几个方法：

from stats import mean, median, variance_sd

第3点是在方法variance_sd()中返回了两个值，即方差和标准差。

>>> def return_tow_value():
...     return 1, 2
... 
>>> a, b = return_two_value()
>>> a
1
>>> b
2
>>> a, b
(1, 2)
>>> c = return_two_value()
>>> type(c)
<class 'tuple'>

第4点是打印格式化的方法（接上例），其中的*号称为starred expression。
starred expression可以用在函数调用中，表示将一个iterable拆开：

>>> print(f'{return_two_value()}')	# 我的写法
(1, 2)
>>> print('{0} - {1}'.format(*return_tow_value()))	# 作者的写法，注意*号
1 - 2
>>> print(*[1,2,3,4])
1 2 3 4

第5点是画图的方式，作者同时显示了两个图表。文档帮助见这里：

    plt.figure(1)	# 创建一个新的图表xaxis_positions = range(0, len(years))plt.plot(population, 'r-')	# 'r-'是格式，表示红色实线...plt.xticks(xaxis_positions, years, rotation=45)	# 横轴的刻度位置，文字和文字倾斜度plt.figure(2)...plt.show()	# 显示所有的figure

计算百分位
Percentile即百分位。假设某考生成绩处于95百分位，则代表95%学生的成绩都低于或等于此学生。
假设p为percentile，data是数据集，n为数据集的个数，先计算idx如下：
i d x = n p 100 + 0.5 idx = \frac{np}{100} + 0.5 idx=100np​+0.5
如果idx是整数，data[idx]就是与百分位p对应的数字。
如果idx不是整数，则设k和f分别为idx的整数和小数部分，(1-f)*data[k] + f*data[k+1]就是与百分位p对应的数字。
实现如下：

import randomdef calcPercentile(data, p):idx = (len(data) * p)/100 + 0.5if idx.is_integer():return data[int(idx) - 1]else:k = int(idx)f = idx - kreturn (1-f)*data[k-1] + f*data[k]data = []
for i in range(10):data.append(random.randint(1, 100))data.sort()
print(data)response = ''
while True:response = input('Please input percentile(Q/q to quit):')if response.upper() == 'Q':breakp = int(response)num = calcPercentile(data, p)print(f'Number {num} is the number correspond to Percentile {p}')

测试如下：

$ p3 percentile.py
[21, 23, 41, 41, 55, 57, 58, 59, 65, 73]
Please input percentile(Q/q to quit):25
Number 41 is the number correspond to Percentile 25
Please input percentile(Q/q to quit):50
Number 56.0 is the number correspond to Percentile 50
Please input percentile(Q/q to quit):75
Number 59 is the number correspond to Percentile 75
Please input percentile(Q/q to quit):q

有一个教训，就是不要漏掉方法的括号，已经错了两次了。例如idx.is_integer()不能写成idx.is_integer，这样意义就完全变了，更重要的是这样写不会报错！
另外给出一个测试数据集[5, 1, 9, 3, 14, 9, 7]，25百分位对应的数值为2.5，50百分位的数值为7。

这篇关于Doing Math with Python读书笔记-第3章：Describing Data with Statistics的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/677560。

相关文章

使用Python实现可恢复式多线程下载器

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传：从崩溃边缘抢救进度二、多线程加速：榨干网络带宽三、速度控制：做网络的好邻居四、终端交互
阅读更多...
Python中注释使用方法举例详解

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,：本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释？示例：三、单行注释语法：以 China编程# 开头，后面的内容为注释内容示例：示例：四
阅读更多...
Python中win32包的安装及常见用途介绍

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,：本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作
阅读更多...
Python中re模块结合正则表达式的实际应用案例

Python中re模块结合正则表达式的实际应用案例

《Python中re模块结合正则表达式的实际应用案例》Python中的re模块是用于处理正则表达式的强大工具,正则表达式是一种用来匹配字符串的模式,它可以在文本中搜索和匹配特定的字符串模式,这篇文章主... 目录前言re模块常用函数一、查看文本中是否包含 A 或 B 字符串二、替换多个关键词为统一格式三、提
阅读更多...
python常用的正则表达式及作用

python常用的正则表达式及作用

《python常用的正则表达式及作用》正则表达式是处理字符串的强大工具,Python通过re模块提供正则表达式支持,本文给大家介绍python常用的正则表达式及作用详解,感兴趣的朋友跟随小编一起看看吧... 目录python常用正则表达式及作用基本匹配模式常用正则表达式示例常用量词边界匹配分组和捕获常用re
阅读更多...
python实现对数据公钥加密与私钥解密

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分，使用python生成公钥与私钥，然后保存在两个文
阅读更多...
python删除xml中的w:ascii属性的步骤

python删除xml中的w:ascii属性的步骤

《python删除xml中的w:ascii属性的步骤》使用xml.etree.ElementTree删除WordXML中w:ascii属性,需注册命名空间并定位rFonts元素,通过del操作删除属... 可以使用python的XML.etree.ElementTree模块通过以下步骤删除XML中的w:as
阅读更多...
使用Python绘制3D堆叠条形图全解析

使用Python绘制3D堆叠条形图全解析

《使用Python绘制3D堆叠条形图全解析》在数据可视化的工具箱里,3D图表总能带来眼前一亮的效果,本文就来和大家聊聊如何使用Python实现绘制3D堆叠条形图,感兴趣的小伙伴可以了解下... 目录为什么选择 3D 堆叠条形图代码实现：从数据到 3D 世界的搭建核心代码逐行解析细节优化应用场景：3D 堆叠图
阅读更多...
深度解析Python装饰器常见用法与进阶技巧

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器（Decorator）是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧
阅读更多...
Python中Tensorflow无法调用GPU问题的解决方法

Python中Tensorflow无法调用GPU问题的解决方法

《Python中Tensorflow无法调用GPU问题的解决方法》文章详解如何解决TensorFlow在Windows无法识别GPU的问题,需降级至2.10版本,安装匹配CUDA11.2和cuDNN... 当用以下代码查看GPU数量时，gpuspython返回的是一个空列表，说明tensorflow没有找到
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2