NumPy实战:Chapter-1(初识NumPy)

2024-06-21 01:32
文章标签 实战 初识 numpy chapter

本文主要是介绍NumPy实战:Chapter-1(初识NumPy),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  • 为什么学习NumPy
  • 使用Ipython
      • 打开IPython的shell界面
      • 保存会话
      • 执行系统的shell命令
      • 显示历史记录
  • 使用notebook
      • 运行notebook
      • 初试notebook
      • 导出基于Web的notebook
      • 导入基于Web的notebook
  • SciPy和PIL
    • 安装软件
      • 安装SciPy
        • 检查安装是否完成
      • 安装PIL
        • 检查安装是否完成
  • SciPy和PIL的实例
    • 调整图像大小
      • 加载图像face到数组中
      • 检查数组的形状
      • 调整数组的大小
      • 绘制数组对应的图像
      • 本小节完整代码
    • 创建视图和副本
      • 下面我们将创建一张图片的副本同时创建一张图片的视图
      • 使用flat迭代器把视图中所有的值清零
      • 本小节所有的代码
    • 翻转图像
      • 绘制翻转后的图像
      • 绘制图像的一部分
      • 对图像应用遮罩的效果
      • 本小节所有代码
    • 高级索引
      • 把第一条对角线位置上的数值置为白点
    • 两条对角线的值都置为白点
      • 本小节所有代码
    • 布尔型索引
      • 在图像中添加点状的对角线
      • 把指定范围内的数值置255带阻功能
      • 本小节所有代码
  • 参考资料

为什么学习NumPy

最近在学习机器学习的时候,发现许多地方都需要操作数组,尤其是在做数据预处理的时候,需要对数据去均值、对图像做增强(分割、水平翻转等)。这都需要我们了解python中数组数据处理,而NumPy是python中一个有名的科学计算库,所以我准备系统的学习一下NumPy。

当然我们并不只是学习NumPy这一个软件,Python科学计算生态系统中的其他软件,如数值计算库SciPy、绘图库Matplotlib和各种scikit项目(机器学习中大量用的这个)等。

学习的过程中,需要安装多种软件库,这里我建议直接安装一个Python的发行版,我安装的就是Anaconda(TensorFlow安装也需要),省了很多事。



使用Ipython

IPython是一个工具集合,因为它的Shell而为人熟知,在Shell中,我们可以交互式的学习,想必用惯了matlab或者IDLE,会很习惯使用IPython。现在IPython中基于Web的notebook的一个非常好用的工具,且集成了许多其他功能。IPython中包括各种组件,其中两个主要的组件是:

  • 基于终端方式和基于Qt的交互式Python shell
  • 支持多媒体和绘图功能的基于web的notebook

打开IPython的shell界面

一般使用IPython做科学计算时,我们会增加pylab选项开关,增加pylab选项可以自动引入SciPy/NumPy和Matplotlib软件包,这样可以方便我们调用。
使用命令

 ipython -pylab

这里写图片描述


保存会话

在使用IPyhon的时候,有时我们可能需要回溯做过的操作,这需要我们开始记录我们的操作,在IPython中我们可以保存会话以供将来查看,这需要使用以下命令:

    %logstart   #开始记录文件...  # 我们的操作实验%logoff     #停止记录文件

这里写图片描述


执行系统的shell命令

在调试程序时,我们可以需要使用默认设置的IPython环境中执行系统shell命令时,;;例如获取当前系统时间(可以使用time模块,很麻烦),这时我们可以在交互语句中使用!shell指令,即在系统命令前加!前缀,例如:

date  #使用shell命令 查看当前时间# 也可以将shell命令执行后的结果保存thedate = !dateprint thedate[0]

这里写图片描述


显示历史记录

上面我们讲了如果记录操作记录,记录是为了后续的查看使用,这里我们可以使用%hist命令显示操作的历史记录:

%hist 

使用%hist -g选项,可以实现对历史记录的搜索

%hist -g xxxx  # 对历史记录搜索xxxx

这里写图片描述



使用notebook

IPython有一个特性-基于Web的notebook,它可以通过Web方式提供notebook界面,我们可以启动一个notebook服务器,获得一个基于Web的IPython运行环境,notebook除了具备常规IPython环境中的大多数特性,还包括以下特性。

  • 显示图像和嵌入式图标
  • 在文本单元格中使用HTML和Markdown
  • notebook的导入和导出

运行notebook

使用如下命令,启动notebook:

ipython notebook

基于web的notebook界面如下(浏览器下):

这里写图片描述


初试notebook

1. 创建一个notebook对话
在notebook开始页面上,我们可以选中New|Python2 创建一个新的基于Web的Python对话框:

这里写图片描述

2. 导入pylab模型
上面我们讲到了,在使用IPython做科学计算时,我们会选用pylab选项,当然在notebook中我们也可以选用pylab选项,使用命令如下:

%pylab  # 输入完%pylab后,使用shift+enter执行

操作结果如下:

这里写图片描述

3. 创建一个数组并使用plot绘制
在notebook中键入程序,并使用shift+enter执行程序:

    a = range(10)plot(sqrt(a))  #绘制图片

可以看到,和终端对话框的界面类似,比终端对话框好看的多~!

这里写图片描述


导出基于Web的notebook

notebook下也可以记录操作指令,用于查看。操作过程是:在File菜单下,可以将notebook工程保存成html或者pdf供别人查看;或者保存成Python或.ipynb(json格式)。

这里写图片描述


导入基于Web的notebook

相对于记录操作指令,也就会有查看指令,一般的pdf或者html直接打开就可以。还有一些其他文件格式,例如ipynb文件,我们可以使用Home下的Upload将需要导入的文件导入,在目录下打开即可.

这里写图片描述



SciPy和PIL

上一节我们简单的介绍了NumPy,NumPy以高效率的数组著称,这主要归功于索引的易用性。我们将以图像处理为例展示高级的索引技巧。在深入研究索引之前,我们要先做好准备工作–安装必备的软件SciPy和PIL.

  • SciPy:用于科学计算
  • PIL:Python Imaging Libraryd的缩写,因为实例中涉及图像处理,为此,我们需要用到Python图像库PIL

安装软件

安装软件

安装SciPy

使用python自带工具pip安装

pip install scipy

ubuntu下使用apt安装

sudo apt-get install python-scipy
检查安装是否完成

在python环境中尝试导入scipy包,使用versionfile等BIL方法查看scipy包的信息.下图是在notebook中导入scipy包,并查看scipy包信息.

这里写图片描述

安装PIL

使用Ubuntu下的apt工具安装:

sudo apt-get install python-imaging

使用pip工具安装:

pip install pillow
# Pillow是PIL的一个派生分支,但如今已经发展成为比PIL本身更具活力的图像处理库,且原本的PIL只支持到2.7
检查安装是否完成

在python环境中尝试导入PIL包,使用versionfile等BIL方法查看PIL包的信息.下图是在notebook中导入PIL包,并查看PIL包信息.

这里写图片描述



SciPy和PIL的实例

调整图像大小

调整图像大小

1. 加载图像face到数组中

        import scipy.misc as miscface = misc.face()

这里写图片描述

2. 检查数组的形状

face.shape

这里写图片描述

可以看到图片的大小是3通道768*1024;

3. 调整数组的大小

我们使用numpy.repeat函数来调整大小,repeat是将数组的元素重复以达到调整数组大小的目的(重复倍数需整数倍)

        resized = face.repeat(1,axis=0).repeat(3,axis=1)# 第一位维度元素不变,第二维度元素重复3遍

这里写图片描述


函数说明:numpy.repeat(a, repeats, axis=None)

项目含义
参数
aint or array of ints.
输入array
repeatsint 或ints
每个元素的重复次数。重复以适应给定轴的shape
axisint, optional
制定要重复的数轴(取值不能超过输入的shape)
返回值修改后的array

Examples

>>> np.repeat(3, 4)
array([3, 3, 3, 3])
>>> x = np.array([[1,2],[3,4]])
>>> np.repeat(x, 2)
array([1, 1, 2, 2, 3, 3, 4, 4])
>>> np.repeat(x, 3, axis=1)
array([[1, 1, 1, 2, 2, 2],[3, 3, 3, 4, 4, 4]])
>>> np.repeat(x, [1, 2], axis=0)
array([[1, 2],[3, 4],[3, 4]])

4. 绘制数组对应的图像

matplotlib中的subplot函数用来创建子图。这个函数以一个3位的整数作为参数,最高位代表行数,第二数字代表列数,最后一个数字代表子图的位置索引(从1开始编号)。imshow用来显示图像,show用来显示结果.

    matplotlib.pyplot.subplot(121)matplotlib.pyplot.imshow(face)matplotlib.pyplot.subplot(122)matplotlib.pyplot.imshow(resized)

这里写图片描述


本小节完整代码

    import scipy.misc as miscimport matplotlib.pyplot as plotface = misc.face()print(face.shape)resized = face.repeat(1,axis=0).repeat(3,axis=1)resized.shapeplot.subplot(121)matplotlib.pyplot.imshow(face)plot.subplot(122)plot.imshow(resized)

创建视图和副本

创建视图和副本

我们在与一个共享的数组视图打交道时,要注意视图不是只读的,在应用中,一个切片(slice)对应一个视图。如果你把一个切片赋值给一个变量,随后改变了切片所在数组的内容,那么变量的值也会改变。(可以理解为变量是切片的引用)

1.下面我们将创建一张图片的副本,同时创建一张图片的视图

    acopy = face.copy()aview = face.view()plot.subplot(211)plot.imshow(acopy)plot.subplot(212)plot.imshow(aview)

这里写图片描述


2.使用flat迭代器,把视图中所有的值清零

如果想对每个数组中元素进行运算,我们可以使用flat属性,该属性是数组元素的一个迭代器.

    aview.flat = 0plot.subplot(211)plot.imshow(acopy)plot.subplot(212)plot.imshow(face)

可以看见,图像已经被清空了

这里写图片描述


本小节所有的代码

    import scipy.misc as miscimport matplotlib.pyplot as plotface = misc.face()acopy = face.copy()aview = face.view()aview.flat = 0   #使用flat迭代器,把视图中所有的值都清零plot.subplot(221)plot.imshow(face) # 处理视图,会影响原图像plot.subplot(222)plot.imshow(acopy)plot.subplot(223)plot.imshow(aview)plot.subplot(224)plot.imshow(aview)

翻转图像

翻转图像

有时在图像处理时,我们需要对图像做翻转操作(例如做图像样本增强操作),处了图像翻转,还会绘制出它的一部分以及对其应用遮罩的效果。

1.绘制翻转后的图像

    plot.subplot(111)plot.imshow(face[:,::-1]) #切片操作 列不变  行翻转 图像水片翻转plot.imshow(face[::-1,:]) #切片操作 行不变  列翻转 图像上下翻转

这里写图片描述


2.绘制图像的一部分

    plot.subplot(111)plot.imshow(face[:face.shape[0]/2,:face.shape[1]/2]) #行列各取一半

这里写图片描述


3.对图像应用遮罩的效果

    mask = face % 2 ==0  #每个像素点每个通道值是否被2整除masked_face = face.copy()masked_face[mask] = 0 # 为true的点像素值置黑plot.subplot(111)plot.imshow(masked_face)

这里写图片描述


本小节所有代码

    import scipy.misc as miscimport matplotlib.pyplot as plotface = misc.face()plot.subplot(221)plot.imshow(face)plot.subplot(222)plot.imshow(face[:,::-1])plot.subplot(223)plot.imshow(face[:face.shape[0]/2,:face.shape[1]/2])mask = face % 2 ==0masked_face = face.copy()masked_face[mask] = 0plot.subplot(224)plot.imshow(masked_face)

高级索引

高级索引

本节将使用高级索引技术,在图像的对角线位置上的数值值零,效果就是在图像上画两条对角线,没有啥实际意义。与常规索引不同的是,高级索引不使用整数或切片作为索引值。

1.把第一条对角线位置上的数值置为白点

    ascent = misc.ascent()xmax = ascent.shape[0]ymax = ascent.shape[1]ascent[range(xmax),range(ymax)] =255  #使用range从0循环到xmax

这里写图片描述


2.两条对角线的值都置为白点

 ascent[range(xmax-1,-1,-1),range(ymax)] =255 #列变量倒序循环

这里写图片描述


本小节所有代码

    import scipy.misc as miscimport matplotlib.pyplot as plotascent = misc.ascent()xmax = ascent.shape[0]ymax = ascent.shape[1]ascent[range(xmax),range(ymax)] =255ascent[range(xmax-1,-1,-1),range(ymax)] =255plot.subplot(111)plot.imshow(ascent)

布尔型索引

布尔型索引

布尔型索引就是基于布尔数组的索引,属于高级索引技术的范畴。

1.在图像中添加点状的对角线

建立函数get_indices用于创建可以整数4的bool型数组,对图像的处理与先前讲的遮盖类似

    def get_indices(size):arr = numpy.arange(size)  # 扩充一个数组,数组值为0-sizereturn arr % 4 == 0 #返回是的bool型数组copy = ascent.copy()xindices = get_indices(ascent.shape[0])yindices = get_indices(ascent.shape[1])copy[xindices,yindices] = 255

这里写图片描述


2.把指定范围内的数值置255(带阻功能)

ascent[(ascent > ascent.max()/4) & (ascent <3 * ascent.max()/4)] = 255  # 将像素值大于最大像素值的1/4小于3/4的像素点设置为白点

这里写图片描述


本小节所有代码

    import scipy.misc as miscimport matplotlib.pyplot as plotascent = misc.ascent()def get_indices(size):arr = numpy.arange(size)  # 扩充一个数组,数组值为0-sizereturn arr % 4 == 0 #返回是的bool型数组copy = ascent.copy()xindices = get_indices(ascent.shape[0])yindices = get_indices(ascent.shape[1])copy[xindices,yindices] = 255plot.subplot(211)plot.imshow(copy)ascent[(ascent > ascent.max()/4) & (ascent <3 * ascent.max()/4)] = 255plot.subplot(212)plot.imshow(ascent)



参考资料

《NumPy攻略》 -Ivan Idris

这篇关于NumPy实战:Chapter-1(初识NumPy)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1079831

相关文章

numpy求解线性代数相关问题

《numpy求解线性代数相关问题》本文主要介绍了numpy求解线性代数相关问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 在numpy中有numpy.array类型和numpy.mat类型,前者是数组类型,后者是矩阵类型。数组

Python中的随机森林算法与实战

《Python中的随机森林算法与实战》本文详细介绍了随机森林算法,包括其原理、实现步骤、分类和回归案例,并讨论了其优点和缺点,通过面向对象编程实现了一个简单的随机森林模型,并应用于鸢尾花分类和波士顿房... 目录1、随机森林算法概述2、随机森林的原理3、实现步骤4、分类案例:使用随机森林预测鸢尾花品种4.1

Golang使用minio替代文件系统的实战教程

《Golang使用minio替代文件系统的实战教程》本文讨论项目开发中直接文件系统的限制或不足,接着介绍Minio对象存储的优势,同时给出Golang的实际示例代码,包括初始化客户端、读取minio对... 目录文件系统 vs Minio文件系统不足:对象存储:miniogolang连接Minio配置Min

Node.js 中 http 模块的深度剖析与实战应用小结

《Node.js中http模块的深度剖析与实战应用小结》本文详细介绍了Node.js中的http模块,从创建HTTP服务器、处理请求与响应,到获取请求参数,每个环节都通过代码示例进行解析,旨在帮... 目录Node.js 中 http 模块的深度剖析与实战应用一、引言二、创建 HTTP 服务器:基石搭建(一

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

滚雪球学Java(87):Java事务处理:JDBC的ACID属性与实战技巧!真有两下子!

咦咦咦,各位小可爱,我是你们的好伙伴——bug菌,今天又来给大家普及Java SE啦,别躲起来啊,听我讲干货还不快点赞,赞多了我就有动力讲得更嗨啦!所以呀,养成先点赞后阅读的好习惯,别被干货淹没了哦~ 🏆本文收录于「滚雪球学Java」专栏,专业攻坚指数级提升,助你一臂之力,带你早日登顶🚀,欢迎大家关注&&收藏!持续更新中,up!up!up!! 环境说明:Windows 10

Linux操作系统 初识

在认识操作系统之前,我们首先来了解一下计算机的发展: 计算机的发展 世界上第一台计算机名叫埃尼阿克,诞生在1945年2月14日,用于军事用途。 后来因为计算机的优势和潜力巨大,计算机开始飞速发展,并产生了一个当时一直有效的定律:摩尔定律--当价格不变时,集成电路上可容纳的元器件的数目,约每隔18-24个月便会增加一倍,性能也将提升一倍。 那么相应的,计算机就会变得越来越快,越来越小型化。

springboot实战学习(1)(开发模式与环境)

目录 一、实战学习的引言 (1)前后端的大致学习模块 (2)后端 (3)前端 二、开发模式 一、实战学习的引言 (1)前后端的大致学习模块 (2)后端 Validation:做参数校验Mybatis:做数据库的操作Redis:做缓存Junit:单元测试项目部署:springboot项目部署相关的知识 (3)前端 Vite:Vue项目的脚手架Router:路由Pina:状态管理Eleme