Numpy数据存取与函数 北理工嵩天老师python数据分析与展示 单元2随堂笔记

本文主要是介绍Numpy数据存取与函数 北理工嵩天老师python数据分析与展示 单元2随堂笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Numpy数据存取与函数 北理工嵩天老师python数据分析与展示 单元2随堂笔记

数据的csv文件存取

csv文件

CSV文件(Comma-Separated Value,逗号分隔值)
CSV是一种常见的文件格式,用来存储批量数据。

将文件写入CSV文件:
np.savetxt(frame,array,fmt="%.18e",delimiter=None)

参数:
frame:文件(如:a.csv)、字符串或产生器,可以是.gz或.bz2的压缩文件。
array:存入文件的数组。
fmt:写入文件的格式,例如:%d %.2f %.18e(科学计数法保留18位小数).a.csv
delimiter:分割字符串,默认是空格。

import numpy as np
a = np.arange(100).reshape(5,20)
a
array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15,16, 17, 18, 19],[20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35,36, 37, 38, 39],[40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55,56, 57, 58, 59],[60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75,76, 77, 78, 79],[80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95,96, 97, 98, 99]])
np.savetxt('a.csv',a,fmt='%d',delimiter=',')   #以整数存储

文件打开后如下所示:
0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19
20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39
40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59
60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79
80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99

np.savetxt('a.csv',a,fmt='%.1f',delimiter=',')  #以浮点数存储

文件打开后如下所示:
0.0,1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0,11.0,12.0,13.0,14.0,15.0,16.0,17.0,18.0,19.0
20.0,21.0,22.0,23.0,24.0,25.0,26.0,27.0,28.0,29.0,30.0,31.0,32.0,33.0,34.0,35.0,36.0,37.0,38.0,39.0
40.0,41.0,42.0,43.0,44.0,45.0,46.0,47.0,48.0,49.0,50.0,51.0,52.0,53.0,54.0,55.0,56.0,57.0,58.0,59.0
60.0,61.0,62.0,63.0,64.0,65.0,66.0,67.0,68.0,69.0,70.0,71.0,72.0,73.0,74.0,75.0,76.0,77.0,78.0,79.0
80.0,81.0,82.0,83.0,84.0,85.0,86.0,87.0,88.0,89.0,90.0,91.0,92.0,93.0,94.0,95.0,96.0,97.0,98.0,99.0

读入csv文件
np.loadtxt(frame,dtype=np.float,delimiter=None,unpack=False)

参数:
frame:文件、字符串或产生器,可以是.gz或.bz2的压缩文件。
dtype:数据类型,可选。
delimiter:分割字符串,默认是任何空格。
unpack:如果True,读入属性将分别写入不同变量。

b = np.loadtxt('a.csv',delimiter=',')  #导入数据
b
array([[ 0.,  1.,  2.,  3.,  4.,  5.,  6.,  7.,  8.,  9., 10., 11., 12.,13., 14., 15., 16., 17., 18., 19.],[20., 21., 22., 23., 24., 25., 26., 27., 28., 29., 30., 31., 32.,33., 34., 35., 36., 37., 38., 39.],[40., 41., 42., 43., 44., 45., 46., 47., 48., 49., 50., 51., 52.,53., 54., 55., 56., 57., 58., 59.],[60., 61., 62., 63., 64., 65., 66., 67., 68., 69., 70., 71., 72.,73., 74., 75., 76., 77., 78., 79.],[80., 81., 82., 83., 84., 85., 86., 87., 88., 89., 90., 91., 92.,93., 94., 95., 96., 97., 98., 99.]])
b = np.loadtxt('a.csv',dtype=np.int,delimiter=',')  #以整数导入数据
b
array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15,16, 17, 18, 19],[20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35,36, 37, 38, 39],[40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55,56, 57, 58, 59],[60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75,76, 77, 78, 79],[80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95,96, 97, 98, 99]])
CSV文件的局限性

CSV文件只能有效存储一维和二维数组
np.savetxt() np.loadtxt()只能有效存取一维和二维数组

任意维度数据的存取

存储

利用ndarray中的tofile()方法
a.tofile(frame,sep=’’,format=’%s’)
参数:
frame:文件、字符串。
sep:数据分割字符串,如果是空串,写入文件为二进制。
format:写入数据的格式。

a = np.arange(100).reshape(5,10,2)
a.tofile('b.bat',sep=",",format="%d")

文件打开如下,没有维度信息,只是将数组中的元素逐一地列出并输出到该文件中,是个文本文件。
0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99

a = np.arange(100).reshape(5,10,2)
a.tofile('b.bat',format="%d")   #假设不指定分隔符

生成的文件是一个二进制文件,我们无法用文本编辑器看懂。事实上二进制文件比文本文件占用更小的空间。

读取

  np.fromfile(frame, dtype=float,count=-1,sep='')

参数:
frame:文件、字符串。
dtype:读取的数据类型。
count:读入元素的个数,-1表示读入整个文件。
sep:数据分割字符串,如果是空串,写入文件为二进制。

c = np.fromfile("b.bat",dtype=np.int,sep='').reshape(5,10,2) #利用reshape方法得到想要的数组维度
c
array([[[ 0,  1],[ 2,  3],[ 4,  5],[ 6,  7],[ 8,  9],[10, 11],[12, 13],[14, 15],[16, 17],[18, 19]],[[20, 21],[22, 23],[24, 25],[26, 27],[28, 29],[30, 31],[32, 33],[34, 35],[36, 37],[38, 39]],[[40, 41],[42, 43],[44, 45],[46, 47],[48, 49],[50, 51],[52, 53],[54, 55],[56, 57],[58, 59]],[[60, 61],[62, 63],[64, 65],[66, 67],[68, 69],[70, 71],[72, 73],[74, 75],[76, 77],[78, 79]],[[80, 81],[82, 83],[84, 85],[86, 87],[88, 89],[90, 91],[92, 93],[94, 95],[96, 97],[98, 99]]])

注意:

该方法需要读取时知道存入文件时数组的维度和元素类型
a.tofile()和np.fromfile()需要配合使用
为了解决上述问题,我们可以通过再写一个文件,将要存储的数组的每个元素的类型及数组的维度作为元信息存储起来,读入数组时通过元文件获取该数组的信息。
这样的方法显然有一些复杂和麻烦,但是对于一些大规模数据存储时这样的方法还是有效的。

Numpy的便捷文件存取

下面这个方法可以很好地解决多维数组的存取问题
这种方法文件的读取和写入是基于numpy自定义的文件格式,如果你不想用这种文件格式,就用上一种方法,如果无所谓,就使用这种方法。
np.save(fname,array)或np.savez(fname,array)
frame:文件名称,以.npy为扩展名,压缩扩展名为.npz 。这种文件是numpy自定义的文件类型
array:数组变量
np.load(fname)
frame:文件名,以.npy为扩展名,压缩扩展名为.npz

numpy的随机数函数子库

调用 : np.random.*

函数 说明
rand(d0,d1,…dn) 根据d0-dn创建随机数数组,浮点数,[0,1),均匀分布
randn(d0,d1,…dn) 根据d0-dn创建随机数数组,标准正态分布
randint(low[,high,shape]) 根据shape创建随机整数或整数数组,范围是[low,high)
seed(s) 随机数种子,s是给定的种子值

shuffle(a) 根据数组a的第一轴(最外层维度)进行随机排列,改变数组x
permutation(a) 根据数组a的第一轴产生一个新的乱序数组,不改变x
choice(a[,size,replace,p]) 从一维数组a中以概率p抽取元素,形成size形状新数组replace表示是否可以重 用元素,默认为False

uniform(low,high,size) 产生具有均匀分布的数组,low 起始值,high结束值,size形状
normal(loc,scale,size) 产生具有正态分布的数组,loc均值,scale标准差,size形状
poisson(lam,size) 产生具有泊松分布的数组,lam随机事件发生率,size形状

b=np.random.randint(100,200,(8,))
np.random.choice(b,(3,2),p=b/np.sum(b))  #元素值越大被抽到的的概率也越大。
array([[152, 103],[152, 152],[149, 138]])

numpy的统计函数

统计函数即可以对数组进行统计计算的函数
numpy提供了库一级别的统计类函数
调用 : np.*
函数 说明
sum(a,axis=None) 根据给定轴axis计算数组a相关元素之和,axis整数或元组
mean(a,axis=None) 根据给定轴axis计算数组a相关元素的期望,axis整数或元组
average(a,axis=None,weights=None) 根据给定轴axis计算数组a相关元素的加权平均值
std(a,axis=None) 根据给定轴axis计算数组a相关元素的标准差
var(a,axis=None) 根据给定轴axis计算数组a相关元素的方差
min(a) max(a) 计算数组a中元素的最小值、最大值
argmin(a) argmax(a) 计算数组a中元素的最小值、最大值的降成一维数组后下标
unravel_index(index,shape) 根据shape将一维下表index转换成多维下标
ptp(a) 计算数组a中元素的最大值和最小值的差
median(a) 计算数组a中元素的中位数(中值)
说明:axis=None 是统计函数的标配参数,表示对数组中所有元素进行统计计算。

numpy中的梯度函数

 函数                      说明np.gradient(f)           计算数组f中元素的梯度,当f为多维时,返回每个维度的梯度

梯度:连续值之间的变化率,即斜率。 梯度有助于我们发现图像的边缘。
XY坐标轴连续三个X坐标对应的Y轴值:a,b,c, 其中,b的梯度是:(c-a)/2

a=np.random.randint(0,20,(5))
a
array([10,  3, 13, 15,  0])
np.gradient(a)  #各元素梯度
array([ -7. ,   1.5,   6. ,  -6.5, -15. ])

计算元素的梯度值时,如果该元素两侧都有值,则梯度为:(后侧-前侧)/2
如果只有一侧值,则梯度为:(后则-该元素值)/1 或 (该元素值-前侧值)/1

多维函数类似

c=np.random.randint(0,50,(3,5))
c
array([[44,  8, 45, 48,  1],[48, 48, 38, 38,  1],[17, 26, 27, 12, 26]])
np.gradient(c)
[array([[  4. ,  40. ,  -7. , -10. ,   0. ],[-13.5,   9. ,  -9. , -18. ,  12.5],[-31. , -22. , -11. , -26. ,  25. ]]),array([[-36. ,   0.5,  20. , -22. , -47. ],[  0. ,  -5. ,  -5. , -18.5, -37. ],[  9. ,   5. ,  -7. ,  -0.5,  14. ]])]

根据结果可知,第一个矩阵是最外层维度的梯度,第二个矩阵是第二层维度的梯度。

这篇关于Numpy数据存取与函数 北理工嵩天老师python数据分析与展示 单元2随堂笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/749758

相关文章

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核