Doing Math with Python读书笔记-第3章：Describing Data with Statistics

2024-02-04 12:48
文章标签 python math 读书笔记 data statistics describing

本文主要是介绍Doing Math with Python读书笔记-第3章：Describing Data with Statistics，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

寻找平均值

统计学中的mean，就是数学中的average。

>>> a = list(range(1, 11))
>>> a
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
>>> sum(a)
55
>>> len(a)
10
>>> avg = sum(a)/len(a)
>>> avg
5.5

寻找中位数

median就是统计学中的中位数。
中位数是指序列中一半的数大于它，一半的数小于它。
先将序列中元素排序，如果序列中元素的个数是奇数，则中位数就是中间那个数；如果为偶数，则中位数是中间两个数的平均值。
例如对于序列1到10，中位数就是(5+6)/2，等于5.5，恰好与平均值相等。序列中有一半的数大于它，一半的数小于它。
以下程序演示了平均值和中位值是不同的：

import random
n = 10
num = []
for i in range(n):num.append(random.randint(1, 100))num.sort()mean = sum(num)/len(num)idx = int(n/2)
if n % 2 != 0:median = num[idx]
else:median = (num[idx] + num[idx - 1])/2print(f'List is: {num}')
print(f'mean is {mean}, median is {median}')

运行：

List is: [5, 7, 15, 17, 20, 32, 32, 36, 38, 53]
mean is 25.5, median is 26.0List is: [6, 9, 17, 23, 27, 40, 42, 51, 55, 91]
mean is 36.1, median is 33.5List is: [2, 21, 25, 35, 36, 47, 48, 58, 59, 60]
mean is 39.1, median is 41.5

寻找众数并创建频度表

mode在统计学中称为众数或最频数，是一组数据中出现频次最高的数。
众数可能不止一个。
collections模块中的Counter类可计算众数。

>>> from collections import Counter
>>> a = [1, 2, 2, 3]
>>> c = Counter(a)
>>> c.most_common()		# 按出现频度排序
[(2, 2), (1, 1), (3, 1)]
>>> c.most_common(1)	# 返回出现频度最高的数，1表示前1位的
[(2, 2)]
>>> c.most_common(2)	# 返回出现频度最高的前两位数
[(2, 2), (1, 1)]
>>> c.most_common()[0][0]	# 返回众数
2

寻找众数
由于众数可能有多个，因此需要将most_common()返回第一个元素（tuple）中的频度（这个就是众数出现的频度）记录下来，然后比较余下元素的频度，直到频度小于这个值为止。

创建频度表
例如成绩单，按照分数从低到高出现的频度显示。代码如下：

from collections import Counterscores = [98, 85, 82, 99, 85, 82, 85, 92, 90, 100, 83, 94, 100, 86, 98, 96, 91, 92, 80, 80]
c = Counter(scores).most_common()
c.sort()
for i in range(len(c)):print(f'{c[i][0]}:\t{c[i][1]}');

输出如下：

80:	2
82:	2
83:	1
85:	3
86:	1
90:	1
91:	1
92:	2
94:	1
96:	1
98:	2
99:	1
100:	2

计算离散度

dispersion是指集合中元素与平均值的偏离程度。涉及范围，方差，标准差3个概念。
范围
范围(range)是指集合中最大值和最小值之间的差。

>>> scores = [98, 85, 82, 99, 85, 82, 85, 92, 90, 100, 83, 94, 100, 86, 98, 96, 91, 92, 80, 80]
>>> max(scores)
100
>>> min(scores)
80
>>> range = max(scores) - min(scores)
>>> range
20

方差和标准差
方差(Variance)和标准差(Standard Deviation)。
方差的计算公式：
方 差 = ∑ ( x i − x m e a n ) 2 n 方差=\frac{\sum(x_{i} - x_{mean})^2}{n} 方差=n∑(xi​−xmean​)2​

标 准 差 = 方 差 标准差 = \sqrt{方差} 标准差=方差 ​

常用的是标准差而非方差，因标准差更直观，其也是与集合中的数一个级别。
相同平均值的一组数，其标准差可能差异很大。

计算两个数据集合间的相关性

Pearson correlation coefficient以下简称相关系数，衡量的是线性相关性。
相关系数在[-1, 1]之间，分为正相关和负相关。
correlation doesn’t imply causation意味相关性不代表因果关系。一个典型的例子是冰淇淋的销售上升伴随犯罪率的提高，这两者都和天气变热有关系。即使如此，天气变热和犯罪率上升也非因果关系。

计算相关系数

c o r r e l a t i o n = n ∑ x y − ∑ x ∑ y ( n ∑ x 2 − ( ∑ x ) 2 ) ( n ∑ y 2 − ( ∑ y ) 2 ) correlation=\frac{n\sum{xy} - \sum{x}\sum{y}}{\sqrt{(n\sum{x^2}-(\sum{x})^2)(n\sum{y^2}-(\sum{y})^2)}} correlation=(n∑x2−(∑x)2)(n∑y2−(∑y)2) ​n∑xy−∑x∑y​

实现要点为zip()，zip将两个list中的对应元素组合成tuple，返回list of tuple，这样方便实现 ∑ x y \sum{xy} ∑xy。

>>> x = [1, 2, 3]
>>> y = [4, 5, 6]
>>> list(zip(x, y))
[(1, 4), (2, 5), (3, 6)]
>>> for a,b in zip(x, y):
...     print(a,b)
... 
1 4
2 5
3 6

高中成绩与大学入学考试成绩的关联性
在这个例子里，作者给了10个学生的3组数据集A,B,C。
A为高中多科平均成绩，B仅为数学的平均成绩，C为大学入学考试的成绩。

A = [89, 88, 86, 85, 91, 87, 90, 92, 93, 94] # random.shuffle(B)
B = [85, 86, 87, 88, 89, 90, 91, 92, 93, 94] # list(range(85, 95))
C = [90, 91, 92, 93, 94, 95, 96, 97, 98, 99] # list(range(90, 100))

计算相关性发现，A和C相关性低(0.73)，B和C相关性高(1)。为简化，相关性是通过Excel公式计算的（=CORREL(A1:A10, C1:C10)）。
通过B和C的散点图（scatter plot）发现，其关系接近于线性：
在这里插入图片描述

散点图

以上散点图的绘制如下：

A = [89, 88, 86, 85, 91, 87, 90, 92, 93, 94]
B = [85, 86, 87, 88, 89, 90, 91, 92, 93, 94]
C = [90, 91, 92, 93, 94, 95, 96, 97, 98, 99]
import matplotlib.pyplot as plt
plt.scatter(B, C)
plt.xlabel('high school math grades')
plt.ylabel('college admission test scores')
plt.show()

Anscombe’s quartet是统计学家Francis Anscombe发明的，他发现四个不同的数据集具有几乎相同的统计特性：平均值，方差和相关性。但是通过散点图，可以看出这些数据集之间差异很大。这也表明了数据可视化的重要性，下图来自Wikipedia：
在这里插入图片描述

从文件读取数据

从文本文件读取数据

$ cat data.txt
85
86
87
88
89
90
91
92
93
94
$ cat data.py
with open('data.txt') as f:total = 0for line in f:	# 读取每一行total += float(line)print(f'SUM is {total}')
$ p3 data.py
SUM is 895.0

从CSV文件读取数据
CSV表示comma-separated value。CSV文件由header（可选）和数据组成。

$ cat data.py
import csv
with open('data.csv') as f:reader = csv.reader(f)next(reader)	# 如果没有header，则注释此行for line in reader:print(f'{line[0]} - {line[1]}')
$ p3 data.py
2 -   4 
4 -   16
6 -   36

编程挑战

Google Trend
作者提供的链接已经无效。不过Google Trend上还是可以下载一些数据。

美国年度人口数据增长
数据集从Quandl下载，此网站还有很多开放数据集。
作者的实现有几点可以学习的地方。
第1点是如何翻转list，因为数据是按时间降序的，因此需要翻转。
翻转用reverse()即可，而作者用的是[::-1]，实际这是一个切片，步进值为-1。

>>> a=[1, 3, 5, 7, 9, 2, 4, 6, 8, 10]
>>> a=a[::-1]
>>> a
[10, 8, 6, 4, 2, 9, 7, 5, 3, 1]
>>> a=[1, 3, 5, 7, 9, 2, 4, 6, 8, 10]
>>> a.reverse()
>>> a
[10, 8, 6, 4, 2, 9, 7, 5, 3, 1]

第2点是作者在文件stats.py中实现了方法mean(), median()和variance_sd()。然后在主程序中引入这几个方法：

from stats import mean, median, variance_sd

第3点是在方法variance_sd()中返回了两个值，即方差和标准差。

>>> def return_tow_value():
...     return 1, 2
... 
>>> a, b = return_two_value()
>>> a
1
>>> b
2
>>> a, b
(1, 2)
>>> c = return_two_value()
>>> type(c)
<class 'tuple'>

第4点是打印格式化的方法（接上例），其中的*号称为starred expression。
starred expression可以用在函数调用中，表示将一个iterable拆开：

>>> print(f'{return_two_value()}')	# 我的写法
(1, 2)
>>> print('{0} - {1}'.format(*return_tow_value()))	# 作者的写法，注意*号
1 - 2
>>> print(*[1,2,3,4])
1 2 3 4

第5点是画图的方式，作者同时显示了两个图表。文档帮助见这里：

    plt.figure(1)	# 创建一个新的图表xaxis_positions = range(0, len(years))plt.plot(population, 'r-')	# 'r-'是格式，表示红色实线...plt.xticks(xaxis_positions, years, rotation=45)	# 横轴的刻度位置，文字和文字倾斜度plt.figure(2)...plt.show()	# 显示所有的figure

计算百分位
Percentile即百分位。假设某考生成绩处于95百分位，则代表95%学生的成绩都低于或等于此学生。
假设p为percentile，data是数据集，n为数据集的个数，先计算idx如下：
i d x = n p 100 + 0.5 idx = \frac{np}{100} + 0.5 idx=100np​+0.5
如果idx是整数，data[idx]就是与百分位p对应的数字。
如果idx不是整数，则设k和f分别为idx的整数和小数部分，(1-f)*data[k] + f*data[k+1]就是与百分位p对应的数字。
实现如下：

import randomdef calcPercentile(data, p):idx = (len(data) * p)/100 + 0.5if idx.is_integer():return data[int(idx) - 1]else:k = int(idx)f = idx - kreturn (1-f)*data[k-1] + f*data[k]data = []
for i in range(10):data.append(random.randint(1, 100))data.sort()
print(data)response = ''
while True:response = input('Please input percentile(Q/q to quit):')if response.upper() == 'Q':breakp = int(response)num = calcPercentile(data, p)print(f'Number {num} is the number correspond to Percentile {p}')

测试如下：

$ p3 percentile.py
[21, 23, 41, 41, 55, 57, 58, 59, 65, 73]
Please input percentile(Q/q to quit):25
Number 41 is the number correspond to Percentile 25
Please input percentile(Q/q to quit):50
Number 56.0 is the number correspond to Percentile 50
Please input percentile(Q/q to quit):75
Number 59 is the number correspond to Percentile 75
Please input percentile(Q/q to quit):q

有一个教训，就是不要漏掉方法的括号，已经错了两次了。例如idx.is_integer()不能写成idx.is_integer，这样意义就完全变了，更重要的是这样写不会报错！
另外给出一个测试数据集[5, 1, 9, 3, 14, 9, 7]，25百分位对应的数值为2.5，50百分位的数值为7。

这篇关于Doing Math with Python读书笔记-第3章：Describing Data with Statistics的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/677560。

相关文章

Python调用Orator ORM进行数据库操作

Python调用Orator ORM进行数据库操作

《Python调用OratorORM进行数据库操作》OratorORM是一个功能丰富且灵活的PythonORM库,旨在简化数据库操作,它支持多种数据库并提供了简洁且直观的API,下面我们就... 目录Orator ORM 主要特点安装使用示例总结Orator ORM 是一个功能丰富且灵活的 python O
阅读更多...
Python使用国内镜像加速pip安装的方法讲解

Python使用国内镜像加速pip安装的方法讲解

《Python使用国内镜像加速pip安装的方法讲解》在Python开发中,pip是一个非常重要的工具,用于安装和管理Python的第三方库,然而,在国内使用pip安装依赖时,往往会因为网络问题而导致速... 目录一、pip 工具简介1. 什么是 pip？2. 什么是 -i 参数？二、国内镜像源的选择三、如何
阅读更多...
python使用fastapi实现多语言国际化的操作指南

python使用fastapi实现多语言国际化的操作指南

《python使用fastapi实现多语言国际化的操作指南》本文介绍了使用Python和FastAPI实现多语言国际化的操作指南,包括多语言架构技术栈、翻译管理、前端本地化、语言切换机制以及常见陷阱和... 目录多语言国际化实现指南项目多语言架构技术栈目录结构翻译工作流1. 翻译数据存储2. 翻译生成脚本
阅读更多...
如何通过Python实现一个消息队列

如何通过Python实现一个消息队列

《如何通过Python实现一个消息队列》这篇文章主要为大家详细介绍了如何通过Python实现一个简单的消息队列,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录如何通过 python 实现消息队列如何把 http 请求放在队列中执行1. 使用 queue.Queue 和 reque
阅读更多...
Python如何实现PDF隐私信息检测

Python如何实现PDF隐私信息检测

《Python如何实现PDF隐私信息检测》随着越来越多的个人信息以电子形式存储和传输,确保这些信息的安全至关重要,本文将介绍如何使用Python检测PDF文件中的隐私信息,需要的可以参考下... 目录项目背景技术栈代码解析功能说明运行结php果在当今，数据隐私保护变得尤为重要。随着越来越多的个人信息以电子形
阅读更多...
使用Python快速实现链接转word文档

使用Python快速实现链接转word文档

《使用Python快速实现链接转word文档》这篇文章主要为大家详细介绍了如何使用Python快速实现链接转word文档功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 演示代码展示from newspaper import Articlefrom docx import
阅读更多...
Python Jupyter Notebook导包报错问题及解决

Python Jupyter Notebook导包报错问题及解决

《PythonJupyterNotebook导包报错问题及解决》在conda环境中安装包后,JupyterNotebook导入时出现ImportError,可能是由于包版本不对应或版本太高,解决方... 目录问题解决方法重新安装Jupyter NoteBook 更改Kernel总结问题在conda上安装了
阅读更多...
Python如何计算两个不同类型列表的相似度

Python如何计算两个不同类型列表的相似度

《Python如何计算两个不同类型列表的相似度》在编程中,经常需要比较两个列表的相似度,尤其是当这两个列表包含不同类型的元素时,下面小编就来讲讲如何使用Python计算两个不同类型列表的相似度吧... 目录摘要引言数字类型相似度欧几里得距离曼哈顿距离字符串类型相似度Levenshtein距离Jaccard相
阅读更多...
Python安装时常见报错以及解决方案

Python安装时常见报错以及解决方案

《Python安装时常见报错以及解决方案》：本文主要介绍在安装Python、配置环境变量、使用pip以及运行Python脚本时常见的错误及其解决方案,文中介绍的非常详细,需要的朋友可以参考下... 目录一、安装 python 时常见报错及解决方案（一）安装包下载失败（二）权限不足二、配置环境变量时常见报错及
阅读更多...
Python中顺序结构和循环结构示例代码

Python中顺序结构和循环结构示例代码

《Python中顺序结构和循环结构示例代码》：本文主要介绍Python中的条件语句和循环语句,条件语句用于根据条件执行不同的代码块,循环语句用于重复执行一段代码,文章还详细说明了range函数的使... 目录一、条件语句（1）条件语句的定义（2）条件语句的语法（a）单分支 if（b）双分支 if-else（
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2