Numpy数据存取与函数 北理工嵩天老师python数据分析与展示 单元2随堂笔记

本文主要是介绍Numpy数据存取与函数 北理工嵩天老师python数据分析与展示 单元2随堂笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Numpy数据存取与函数 北理工嵩天老师python数据分析与展示 单元2随堂笔记

数据的csv文件存取

csv文件

CSV文件(Comma-Separated Value,逗号分隔值)
CSV是一种常见的文件格式,用来存储批量数据。

将文件写入CSV文件:
np.savetxt(frame,array,fmt="%.18e",delimiter=None)

参数:
frame:文件(如:a.csv)、字符串或产生器,可以是.gz或.bz2的压缩文件。
array:存入文件的数组。
fmt:写入文件的格式,例如:%d %.2f %.18e(科学计数法保留18位小数).a.csv
delimiter:分割字符串,默认是空格。

import numpy as np
a = np.arange(100).reshape(5,20)
a
array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15,16, 17, 18, 19],[20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35,36, 37, 38, 39],[40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55,56, 57, 58, 59],[60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75,76, 77, 78, 79],[80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95,96, 97, 98, 99]])
np.savetxt('a.csv',a,fmt='%d',delimiter=',')   #以整数存储

文件打开后如下所示:
0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19
20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39
40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59
60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79
80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99

np.savetxt('a.csv',a,fmt='%.1f',delimiter=',')  #以浮点数存储

文件打开后如下所示:
0.0,1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0,11.0,12.0,13.0,14.0,15.0,16.0,17.0,18.0,19.0
20.0,21.0,22.0,23.0,24.0,25.0,26.0,27.0,28.0,29.0,30.0,31.0,32.0,33.0,34.0,35.0,36.0,37.0,38.0,39.0
40.0,41.0,42.0,43.0,44.0,45.0,46.0,47.0,48.0,49.0,50.0,51.0,52.0,53.0,54.0,55.0,56.0,57.0,58.0,59.0
60.0,61.0,62.0,63.0,64.0,65.0,66.0,67.0,68.0,69.0,70.0,71.0,72.0,73.0,74.0,75.0,76.0,77.0,78.0,79.0
80.0,81.0,82.0,83.0,84.0,85.0,86.0,87.0,88.0,89.0,90.0,91.0,92.0,93.0,94.0,95.0,96.0,97.0,98.0,99.0

读入csv文件
np.loadtxt(frame,dtype=np.float,delimiter=None,unpack=False)

参数:
frame:文件、字符串或产生器,可以是.gz或.bz2的压缩文件。
dtype:数据类型,可选。
delimiter:分割字符串,默认是任何空格。
unpack:如果True,读入属性将分别写入不同变量。

b = np.loadtxt('a.csv',delimiter=',')  #导入数据
b
array([[ 0.,  1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10., 11., 12.,13., 14., 15., 16., 17., 18., 19.],[20., 21., 22., 23., 24., 25., 26., 27., 28., 29., 30., 31., 32.,33., 34., 35., 36., 37., 38., 39.],[40., 41., 42., 43., 44., 45., 46., 47., 48., 49., 50., 51., 52.,53., 54., 55., 56., 57., 58., 59.],[60., 61., 62., 63., 64., 65., 66., 67., 68., 69., 70., 71., 72.,73., 74., 75., 76., 77., 78., 79.],[80., 81., 82., 83., 84., 85., 86., 87., 88., 89., 90., 91., 92.,93., 94., 95., 96., 97., 98., 99.]])
b = np.loadtxt('a.csv',dtype=np.int,delimiter=',')  #以整数导入数据
b
array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15,16, 17, 18, 19],[20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35,36, 37, 38, 39],[40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55,56, 57, 58, 59],[60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75,76, 77, 78, 79],[80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95,96, 97, 98, 99]])
CSV文件的局限性

CSV文件只能有效存储一维和二维数组
np.savetxt() np.loadtxt()只能有效存取一维和二维数组

任意维度数据的存取

存储

利用ndarray中的tofile()方法
a.tofile(frame,sep=’’,format=’%s’)
参数:
frame:文件、字符串。
sep:数据分割字符串,如果是空串,写入文件为二进制。
format:写入数据的格式。

a = np.arange(100).reshape(5,10,2)
a.tofile('b.bat',sep=",",format="%d")

文件打开如下,没有维度信息,只是将数组中的元素逐一地列出并输出到该文件中,是个文本文件。
0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99

a = np.arange(100).reshape(5,10,2)
a.tofile('b.bat',format="%d")   #假设不指定分隔符

生成的文件是一个二进制文件,我们无法用文本编辑器看懂。事实上二进制文件比文本文件占用更小的空间。

读取

  np.fromfile(frame, dtype=float,count=-1,sep='')

参数:
frame:文件、字符串。
dtype:读取的数据类型。
count:读入元素的个数,-1表示读入整个文件。
sep:数据分割字符串,如果是空串,写入文件为二进制。

c = np.fromfile("b.bat",dtype=np.int,sep='').reshape(5,10,2) #利用reshape方法得到想要的数组维度
c
array([[[ 0,  1],[ 2,  3],[ 4,  5],[ 6,  7],[ 8,  9],[10, 11],[12, 13],[14, 15],[16, 17],[18, 19]],[[20, 21],[22, 23],[24, 25],[26, 27],[28, 29],[30, 31],[32, 33],[34, 35],[36, 37],[38, 39]],[[40, 41],[42, 43],[44, 45],[46, 47],[48, 49],[50, 51],[52, 53],[54, 55],[56, 57],[58, 59]],[[60, 61],[62, 63],[64, 65],[66, 67],[68, 69],[70, 71],[72, 73],[74, 75],[76, 77],[78, 79]],[[80, 81],[82, 83],[84, 85],[86, 87],[88, 89],[90, 91],[92, 93],[94, 95],[96, 97],[98, 99]]])

注意:

该方法需要读取时知道存入文件时数组的维度和元素类型
a.tofile()和np.fromfile()需要配合使用
为了解决上述问题,我们可以通过再写一个文件,将要存储的数组的每个元素的类型及数组的维度作为元信息存储起来,读入数组时通过元文件获取该数组的信息。
这样的方法显然有一些复杂和麻烦,但是对于一些大规模数据存储时这样的方法还是有效的。

Numpy的便捷文件存取

下面这个方法可以很好地解决多维数组的存取问题
这种方法文件的读取和写入是基于numpy自定义的文件格式,如果你不想用这种文件格式,就用上一种方法,如果无所谓,就使用这种方法。
np.save(fname,array)或np.savez(fname,array)
frame:文件名称,以.npy为扩展名,压缩扩展名为.npz 。这种文件是numpy自定义的文件类型
array:数组变量
np.load(fname)
frame:文件名,以.npy为扩展名,压缩扩展名为.npz

numpy的随机数函数子库

调用 : np.random.*

函数 说明
rand(d0,d1,…dn) 根据d0-dn创建随机数数组,浮点数,[0,1),均匀分布
randn(d0,d1,…dn) 根据d0-dn创建随机数数组,标准正态分布
randint(low[,high,shape]) 根据shape创建随机整数或整数数组,范围是[low,high)
seed(s) 随机数种子,s是给定的种子值

shuffle(a) 根据数组a的第一轴(最外层维度)进行随机排列,改变数组x
permutation(a) 根据数组a的第一轴产生一个新的乱序数组,不改变x
choice(a[,size,replace,p]) 从一维数组a中以概率p抽取元素,形成size形状新数组replace表示是否可以重 用元素,默认为False

uniform(low,high,size) 产生具有均匀分布的数组,low 起始值,high结束值,size形状
normal(loc,scale,size) 产生具有正态分布的数组,loc均值,scale标准差,size形状
poisson(lam,size) 产生具有泊松分布的数组,lam随机事件发生率,size形状

b=np.random.randint(100,200,(8,))
np.random.choice(b,(3,2),p=b/np.sum(b))  #元素值越大被抽到的的概率也越大。
array([[152, 103],[152, 152],[149, 138]])

numpy的统计函数

统计函数即可以对数组进行统计计算的函数
numpy提供了库一级别的统计类函数
调用 : np.*
函数 说明
sum(a,axis=None) 根据给定轴axis计算数组a相关元素之和,axis整数或元组
mean(a,axis=None) 根据给定轴axis计算数组a相关元素的期望,axis整数或元组
average(a,axis=None,weights=None) 根据给定轴axis计算数组a相关元素的加权平均值
std(a,axis=None) 根据给定轴axis计算数组a相关元素的标准差
var(a,axis=None) 根据给定轴axis计算数组a相关元素的方差
min(a) max(a) 计算数组a中元素的最小值、最大值
argmin(a) argmax(a) 计算数组a中元素的最小值、最大值的降成一维数组后下标
unravel_index(index,shape) 根据shape将一维下表index转换成多维下标
ptp(a) 计算数组a中元素的最大值和最小值的差
median(a) 计算数组a中元素的中位数(中值)
说明:axis=None 是统计函数的标配参数,表示对数组中所有元素进行统计计算。

numpy中的梯度函数

 函数                      说明np.gradient(f)           计算数组f中元素的梯度,当f为多维时,返回每个维度的梯度

梯度:连续值之间的变化率,即斜率。 梯度有助于我们发现图像的边缘。
XY坐标轴连续三个X坐标对应的Y轴值:a,b,c, 其中,b的梯度是:(c-a)/2

a=np.random.randint(0,20,(5))
a
array([10,  3, 13, 15,  0])
np.gradient(a)  #各元素梯度
array([ -7. ,   1.5,   6. ,  -6.5, -15. ])

计算元素的梯度值时,如果该元素两侧都有值,则梯度为:(后侧-前侧)/2
如果只有一侧值,则梯度为:(后则-该元素值)/1 或 (该元素值-前侧值)/1

多维函数类似

c=np.random.randint(0,50,(3,5))
c
array([[44,  8, 45, 48,  1],[48, 48, 38, 38,  1],[17, 26, 27, 12, 26]])
np.gradient(c)
[array([[  4. ,  40. ,  -7. , -10. ,   0. ],[-13.5,   9. ,  -9. , -18. ,  12.5],[-31. , -22. , -11. , -26. ,  25. ]]),array([[-36. ,   0.5,  20. , -22. , -47. ],[  0. ,  -5. ,  -5. , -18.5, -37. ],[  9. ,   5. ,  -7. ,  -0.5,  14. ]])]

根据结果可知,第一个矩阵是最外层维度的梯度,第二个矩阵是第二层维度的梯度。

这篇关于Numpy数据存取与函数 北理工嵩天老师python数据分析与展示 单元2随堂笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/749758

相关文章

postgresql使用UUID函数的方法

《postgresql使用UUID函数的方法》本文给大家介绍postgresql使用UUID函数的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录PostgreSQL有两种生成uuid的方法。可以先通过sql查看是否已安装扩展函数,和可以安装的扩展函数

Python实现终端清屏的几种方式详解

《Python实现终端清屏的几种方式详解》在使用Python进行终端交互式编程时,我们经常需要清空当前终端屏幕的内容,本文为大家整理了几种常见的实现方法,有需要的小伙伴可以参考下... 目录方法一:使用 `os` 模块调用系统命令方法二:使用 `subprocess` 模块执行命令方法三:打印多个换行符模拟

Python实现MQTT通信的示例代码

《Python实现MQTT通信的示例代码》本文主要介绍了Python实现MQTT通信的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 安装paho-mqtt库‌2. 搭建MQTT代理服务器(Broker)‌‌3. pytho

MySQL字符串常用函数详解

《MySQL字符串常用函数详解》本文给大家介绍MySQL字符串常用函数,本文结合实例代码给大家介绍的非常详细,对大家学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录mysql字符串常用函数一、获取二、大小写转换三、拼接四、截取五、比较、反转、替换六、去空白、填充MySQL字符串常用函数一、

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

Python自动化批量重命名与整理文件系统

《Python自动化批量重命名与整理文件系统》这篇文章主要为大家详细介绍了如何使用Python实现一个强大的文件批量重命名与整理工具,帮助开发者自动化这一繁琐过程,有需要的小伙伴可以了解下... 目录简介环境准备项目功能概述代码详细解析1. 导入必要的库2. 配置参数设置3. 创建日志系统4. 安全文件名处

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法