干货推荐:看过介绍 Python 迭代器和生成器最易懂、最全面的文章

本文主要是介绍干货推荐:看过介绍 Python 迭代器和生成器最易懂、最全面的文章,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

迭代器与可迭代对象

概念

迭代器:是访问数据集合内元素的一种方式,一般用来遍历数据,但是他不能像列表一样使用下标来获取数据,也就是说迭代器是不能返回的。

Iterator:迭代器对象,必须要实现 next 魔法函数

Iterable:可迭代对象,继承 Iterator,必须要实现 iter 魔法函数

比如:

 

返回结果:

 

在 Pycharm 中使用 alt+b 进去 list 的源码中可以看到,在 list 类中有 iter 魔法函数,也就是说只要实现了 iter 魔法函数,那么这个对象就是可迭代对象。

上面的例子中 a 是一个列表,也是一个可迭代对象,那么如何才能让这个 a 变成迭代器呢?使用 iter() 即可。

 

返回结果:

 

可以看到现在 a 是可迭代对象又是一个迭代器,说明列表 a 中有 iter 方法,该方法返回的是迭代器,这个时候使用 next 就可以获取 a 的下一个值,但是要记住迭代器中的数值只能被获取一次。

梳理迭代器 (Iterator) 与可迭代对象 (Iterable) 的区别:

可迭代对象:继承迭代器对象,可以用 for 循环(说明实现了 iter 方法)

迭代器对象:可以用 next 获取下一个值(说明实现了 next 方法),但是每个值只能获取一次,单纯的迭代器没有实现 iter 魔法函数,所以不能使用 for 循环

只要可以用作 for 循环的都是可迭代对象

只要可以用 next() 函数的都是迭代器对象

列表,字典,字符串是可迭代对象但是不是迭代器对象,如果想变成迭代器对象可以使用 iter() 进行转换

Python 的 for 循环本质上是使用 next() 进行不断调用,for 循环的是可迭代对象,可迭代对象中有 iter 魔法函数,可迭代对象继承迭代器对象,迭代器对象中有 next 魔法函数

一般由可迭代对象变迭代器对象

可迭代对象

可迭代对象每次使用 for 循环一个数组的时候,本质上会从类中尝试调用 iter 魔法函数,如果类中有 iter 魔法函数的话,会优先调用iter魔法函数,当然这里切记 iter 方法必须要返回一个可以迭代的对象,不然就会报错。

如果没有定义 iter 魔法函数的话,会创建一个默认的迭代器,该迭代器调用 getitem 魔法函数,如果你没有定义 iter 和 getitem 两个魔法函数的话,该类型就不是可迭代对象,就会报错。

比如:

 

这里把注释符去掉返回结果也是一样的,返回结果:

 

迭代器对象

一开始提起,iter 搭配 Iterable 做可迭代对象,next 搭配 Iterator 做迭代器。next() 接受一个迭代器对象,作用是获取迭代器对象的下一个值,迭代器是用来做迭代的,只会在需要的时候产生数据。

和可迭代对象不同,可迭代对象一开始是把所有的列表放在一个变量中,然后用 getitem 方法不断的返回数值,getitem 中的 item 就是索引值。

但是 next 方法并没有索引值,所以需要自己维护一个索引值,方便获取下一个变量的位置。

 

返回结果:

 

上面一个就是完整的迭代器对象,他是根据自身的索引值来获取传入对象的下一个值,并不是像可迭代对象直接把传入对象读取到内存中,所以对于一些很大的文件读取的时候,可以一行一行的读取内容,而不是把文件的所有内容读取到内存中。

这个类是迭代器对象,那么如何才能让他能够使用 for 循环呢?那就让他变成可迭代对象,只需要在类中加上 iter 魔法函数即可。

 

返回结果:

 

可以看到这个时候运行成功,但是这个对象还是属于迭代器对象,因为在 next 获取下一个值会报错。

知识整理

根据上面的代码提示,得到规律:

iter 让类变成可迭代对象,next 让类变成迭代器(要维护索引值)。

可迭代对象可以用 for 循环,迭代器可以用next获取下一个值。

迭代器如果想要变成可迭代对象用 for 循环,就要在迭代器内部加上 iter 魔法函数

可迭代对象如果想要能用 next 魔法函数,使用自身类中的 iter() 方法即可变成迭代器对象

 

返回结果:

 

这个时候是不能再用 next 方法了,应为类 b 是一个可迭代对象,并非迭代器,这个时候不能用 next 方法,但是可以让类 b 继承类 s,这样就能用 next() 方法获取下一个值,但是你的类 b 中要存在索引值,不然会报错,如下代码:

 

返回结果:

 

可以这么做,但是没必要,因为这样违反了设计原则。

迭代器的设计模式

迭代器模式:提供一种方法顺序访问一个聚合对象中的各种元素,而又不暴露该对象的内部

表示。

迭代器的设计模式是一种经典的设计模式,根据迭代器的特性(根据索引值读取下一个内容,不一次性读取大量数据到内存)不建议将 next 和 iter 都写在一个类中去实现。

新建一个迭代器,用迭代器维护索引值,返回根据索引值获取对象的数值,新建另一个可迭代对象,使用 iter 方法方便的循环迭代器的返回值。

生成器

生成器:函数中只要有 yield,这个函数就会变成生成器。每次运行到 yield 的时候,函数会暂停,并且保存当前的运行状态,返回返回当前的数值,并在下一次执行 next 方法的时候,又从当前位置继续往下走。

简单用法

举个例子:

 

返回结果:

 

可以看到return是直接返回数值 1,yield 是返回的一个生成器对象,这个对象的值是 1,使用 next(g) 或者 for x in g:print x 都是可以获取到他的内容的,这个对象是在 python 编译字节码的时候就产生。

 

返回结果:

 

就像迭代器的特性一样,获取过一遍的值是没法再获取一次的,并且不是那种一次把所有的结果求出放在内存或者说不是一次性读取所有的内容放在内存中。

梳理特性:

使用 yield 的函数都是生成器函数

可以使用 for 循环获取值,也可以使用 next 获取生成器函数的值

原理

函数工作原理:函数的调用满足“后进先出”的原则,也就是说,最后被调用的函数应该第一个返回,函数的递归调用就是一个经典的例子。显然,内存中以“后进先出”方式处理数据的栈段是最适合用于实现函数调用的载体,在编译型程序语言中,函数被调用后,函数的参数,返回地址,寄存器值等数据会被压入栈,待函数体执行完毕,将上述数据弹出栈。这也意味着,一个被调用的函数一旦执行完毕,它的生命周期就结束了。

Python 解释器运行的时候,会用 C 语言当中的 PyEval_EvalFramEx 函数创建一个栈帧,所有的栈帧都是分配再堆内存上,如果不主动释放就会一直在里面。

Python 的堆栈帧是分配在堆内存中的,理解这一点非常重要!Python 解释器是个普通的 C 程序,所以它的堆栈帧就是普通的堆栈。但是它操作的 Python 堆栈帧是在堆上的。除了其他惊喜之外,这意味着 Python 的堆栈帧可以在它的调用之外存活。(FIXME: 可以在它调用结束后存活),这个就是生成器的核心原理实现。

Python 脚本都会被 python.exe 编译成字节码的形式,然后 python.exe 再执行这些字节码,使用 dis 即可查看函数对象的字节码对象。

 

返回结果:

 

代码函数运行的时候,Python 将代码编译成字节码,当函数存在 yield 的时候,Python 会将这个函数标记成生成器,当调用这个函数的时候,会返回生成器对象,调用这个生成器对象后C语言中写的函数会记录上次代码执行到的位置和变量。

在 C 语言中的 PyGenObject 中有两个值,gi_frame (存储上次代码执行到的位置 f_lasti 的上次代码执行到的变量 f_locals),gi_code (存储代码),使用 dis 也可以获取到上次代码执行的位置和值。

举个例子:

 

返回结果:

 

生成器可以在任何时候被任何函数恢复执行,因为它的栈帧实际上不在栈上而是在堆上。生成器在调用调用层次结构中的位置不是固定的,也不需要遵循常规函数执行时遵循的先进后出顺序。因为这些特性,生成器不仅能用于生成可迭代对象,还可以用于实现多任务协作。

就是说只要拿到了这个生成器对象,就能对这个生成器对象进行控制,比如继续执行暂停等待,这个就是协程能够执行的理论原理。

应用场景

读取文件,使用 open(‘xxx’).read(2019)// 打开一个文件,每次读取 2019 个偏移量。文件 a.txt 是一行文字,但是特别长,这一行文字根据|符号分开,如何读取?

写入文件代码:

 

读取文件代码:

 

这篇关于干货推荐:看过介绍 Python 迭代器和生成器最易懂、最全面的文章的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/548435

相关文章

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

性能测试介绍

性能测试是一种测试方法,旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试,可以确定系统是否能够满足预期的性能要求,找出性能瓶颈和潜在的问题,并进行优化和调整。 发现性能瓶颈:性能测试可以帮助发现系统的性能瓶颈,即系统在高负载或高并发情况下可能出现的问题

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学