python 协程(yield,greenlet,gevent)

2024-01-13 09:18
文章标签 python yield 协程 gevent greenlet

本文主要是介绍python 协程(yield,greenlet,gevent)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 

本章所讲内容：

1、协程的概念

2、greenlet模块

3、gevent的使用

4、使用gevent完成多任务图片下载

18.1  协程的概念

        协程，又称微线程，纤程,也称为用户级线程，在不开辟线程的基础上完成多任务，也就是在单线程的情况下完成多任务，多个任务按照一定顺序交替执行 通俗理解只要在def里面只看到一个yield关键字表示就是协程 协程是也是实现多任务的一种方式

协程yield的代码实现

简单实现协程

def work1():while True:print("----work1---")yieldtime.sleep(0.5)
def work2():while True:print("----work2---")yieldtime.sleep(0.5)
def main():w1 = work1()w2 = work2()while True:next(w1)next(w2)
if __name__ == "__main__":main()
运行结果：

----work1---

----work2---

----work1---

----work2---

...省略...

小结:

协程之间执行任务按照一定顺序交替执行

18.2  Greenlet模块

18.2.1 greentlet的介绍

为了更好使用协程来完成多任务，python中的greenlet模块对其封装，从而使得切换任务变的更加简单！

使用命令安装greenlet模块:pip3 install greenlet

import time
import greenlet
def work1():for i in range(5):print('work1...')time.sleep(0.2)#切换到协程2里面执行对应的任务g2.switch()
#任务2
def work2():for i in range(5):print('work2...')time.sleep(0.2)#切换到第一个协程执行对应的任务g1.switch()
if __name__ == '__main__':#创建协程指定的对应任务g1 = greenlet.greenlet(work1)g2 = greenlet.greenlet(work2)#切换到第一个协程执行对应的任务g1.switch()

运行结果如下：

work1...

work2...

work1...

work2...

work1...

work2...

……

18.3  Gevent

18.3.1  Gevent的介绍

Greenlet已经实现了协程，但是这个还要人工切换，这里介绍一个比Greenlet更强大而且能够自动切换任务的第三方库，那就是Gevent。

Gevent内部封装的Greenlet，其原理是当一个Greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的Greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。

由于IO操作非常耗时，经常使程序处于等待状态，有了Gevent为我们自动切换协程，就保证总有Greenlet在运行，而不是等待IO

安装：pip3 install gevent

1. gevent的使用

import gevent
def work(n):for i in range(n):# 获取当前协程print(gevent.getcurrent(), i)
g1 = gevent.spawn(work, 5)
g2 = gevent.spawn(work, 5)
g3 = gevent.spawn(work, 5)
g1.join()
g2.join()
g3.join()

运行结果如下：

<Greenlet at 0x10e49f550: f(5)> 0

<Greenlet at 0x10e49f550: f(5)> 1

<Greenlet at 0x10e49f550: f(5)> 2

<Greenlet at 0x10e49f550: f(5)> 3

<Greenlet at 0x10e49f550: f(5)> 4

<Greenlet at 0x10e49f910: f(5)> 0

……

可以看到，3个greenlet是依次运行而不是交替运行

18.3.2  gevent切换执行

import gevent
def work(n):for i in range(n):# 获取当前协程print(gevent.getcurrent(), i)gevent.sleep(1)
g1 = gevent.spawn(work, 5)
g2 = gevent.spawn(work, 5)
g3 = gevent.spawn(work, 5)
g1.join()
g2.join()
g3.join()

运行结果

<Greenlet at 0x7fa70ffa1c30: f(5)> 0

<Greenlet at 0x7fa70ffa1870: f(5)> 0

<Greenlet at 0x7fa70ffa1eb0: f(5)> 0

<Greenlet at 0x7fa70ffa1c30: f(5)> 1

<Greenlet at 0x7fa70ffa1870: f(5)> 1

<Greenlet at 0x7fa70ffa1eb0: f(5)> 1

<Greenlet at 0x7fa70ffa1c30: f(5)> 2

<Greenlet at 0x7fa70ffa1870: f(5)> 2

<Greenlet at 0x7fa70ffa1eb0: f(5)> 2

<Greenlet at 0x7fa70ffa1c30: f(5)> 3

<Greenlet at 0x7fa70ffa1870: f(5)> 3

<Greenlet at 0x7fa70ffa1eb0: f(5)> 3

<Greenlet at 0x7fa70ffa1c30: f(5)> 4

<Greenlet at 0x7fa70ffa1870: f(5)> 4

<Greenlet at 0x7fa70ffa1eb0: f(5)> 4

18.3.3 给程序打补丁

import gevent
import time
from gevent import monkey# 打补丁，让gevent框架识别耗时操作，比如：time.sleep，网络请求延时
monkey.patch_all()
# 任务1
def work1(num):for i in range(num):print("work1....")time.sleep(0.2)# gevent.sleep(0.2)
# 任务1
def work2(num):for i in range(num):print("work2....")time.sleep(0.2)# gevent.sleep(0.2)if __name__ == '__main__':# 创建协程指定对应的任务g1 = gevent.spawn(work1, 3)g2 = gevent.spawn(work2, 3)# 主线程等待协程执行完成以后程序再退出g1.join()g2.join()

运行结果

work1....

work2....

work1....

work2....

work1....

work2....

 注意：

当前程序是一个死循环并且还能有耗时操作，就不需要加上join方法了,因为程序需要一直运行不会退出

示例代码

import gevent
import time
from gevent import monkey
# 打补丁，让gevent框架识别耗时操作，比如：time.sleep，网络请求延时
monkey.patch_all()
# 任务1
def work1(num):for i in range(num):print("work1....")time.sleep(0.2)# gevent.sleep(0.2)
# 任务1
def work2(num):for i in range(num):print("work2....")time.sleep(0.2)# gevent.sleep(0.2)
if __name__ == '__main__':# 创建协程指定对应的任务g1 = gevent.spawn(work1, 3)g2 = gevent.spawn(work2, 3)while True:print("主线程中执行")time.sleep(0.5)

运行结果如下:

主线程中执行

work1....

work2....

work1....

work2....

work1....

work2....

主线程中执行

主线程中执行

主线程中执行

使用gevent完成多任务图片下载

 

   多图片下载任务！

import gevent
import urllib.request # 网络请求模块
from gevent import monkey
# 打补丁： 让gevent使用网络请求的耗时操作，让协程自动切换执行对应的下载任务
monkey.patch_all()
# 根据图片地址下载对应的图片def download_img(img_url, img_name):try:print(img_url)# 根据图片地址打开网络资源数据response = urllib.request.urlopen(img_url)# 创建文件把数据写入到指定文件里面with open(img_name, "wb") as img_file:while True:# 读取网络图片数据img_data = response.read(1024)if img_data:# 把数据写入到指定文件里面img_file.write(img_data)else:breakexcept Exception as e:print("图片下载异常:", e)else:print("图片下载成功: %s" % img_name)
if __name__ == '__main__':# 准备图片地址img_url1 = 'http://p0.so.qhmsg.com/bdr/576__/t013ee81b64eb53f6f5.jpg'img_url2 = "http://p2.so.qhimgs1.com/bdr/594__/t017ec94ec006189032.jpg"img_url3 = "http://p3.so.qhmsg.com/bdr/864__/t01f9daf42a666bb408.jpg"# 创建协程指派对应的任务g1 = gevent.spawn(download_img, img_url1, "1.jpg")g2 = gevent.spawn(download_img, img_url2, "2.jpg")g3 = gevent.spawn(download_img, img_url3, "3.jpg")# 主线程等待所有的协程执行完成以后程序再退出gevent.joinall([g1, g2, g3])

运行结果如下：

http://p0.so.qhmsg.com/bdr/576__/t013ee81b64eb53f6f5.jpg

http://p2.so.qhimgs1.com/bdr/594__/t017ec94ec006189032.jpg

http://p1.so.qhimgs1.com/bdr/594__/t012c11259e883bbc8d.jpg

图片下载成功: 2.jpg

图片下载成功: 1.jpg

图片下载成功: 3.jpg

分析：

从上面的结果可以看到依次根据图片地址去下载，但是收到数据的先后顺序不一定与发送顺序相同，这也就体现出了异步，即不确定什么时候会收到数据，顺序不一定

import gevent,requests
from gevent import monkey
from urllib import request
monkey.patch_all()
def download_img(num):print('start download')url = 'http://image.so.com/zj?ch=beauty&sn=30&listtype=new&temp=1'headers = {'Referer': 'http://image.so.com/z?ch=beauty','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'}str_data = '''ch: beautysn: 120listtype: newtemp: 1'''send_data = {}for data in str_data.splitlines():line_data = data.split(': ')if len(line_data) == 2:key, value = line_dataif key and value:send_data[key] = valuesend_data['sn'] = eval(str(num)+'*'+'30')response = requests.get(url, headers=headers, params=send_data)json_data = response.json()['list']for index, src in enumerate(json_data):image_url = src['qhimg_url']try:image_name = './360_image/' + image_url[-8:]request.urlretrieve(url=image_url, filename=image_name)except Exception as e:print(e)else:print('{} is download'.format(image_name))print('image is download')
if __name__ == '__main__':num = int(input('请输入你想要的组:'))# gevent_list = []# for i in range(1,num+1):#     gevent_list.append(gevent.spawn(download_img,i))gevent.joinall([gevent.spawn(download_img,i) for i in range(1,num+1)])

运行结果如下：

总结：

1、协程的概念

2、greenlet模块

3、gevent的使用

4、使用gevent完成多任务图片下载

 

这篇关于python 协程(yield,greenlet,gevent)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/600958。

相关文章

Python判断for循环最后一次的6种方法

Python判断for循环最后一次的6种方法

《Python判断for循环最后一次的6种方法》在Python中,通常我们不会直接判断for循环是否正在执行最后一次迭代,因为Python的for循环是基于可迭代对象的,它不知道也不关心迭代的内部状态... 目录1.使用enuhttp://www.chinasem.cnmerate()和len()来判断for
阅读更多...
使用Python实现高效的端口扫描器

使用Python实现高效的端口扫描器

《使用Python实现高效的端口扫描器》在网络安全领域,端口扫描是一项基本而重要的技能,通过端口扫描,可以发现目标主机上开放的服务和端口,这对于安全评估、渗透测试等有着不可忽视的作用,本文将介绍如何使... 目录1. 端口扫描的基本原理2. 使用python实现端口扫描2.1 安装必要的库2.2 编写端口扫
阅读更多...
使用Python实现操作mongodb详解

使用Python实现操作mongodb详解

《使用Python实现操作mongodb详解》这篇文章主要为大家详细介绍了使用Python实现操作mongodb的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、示例二、常用指令三、遇到的问题一、示例from pymongo import MongoClientf
阅读更多...
使用Python合并 Excel单元格指定行列或单元格范围

使用Python合并 Excel单元格指定行列或单元格范围

《使用Python合并Excel单元格指定行列或单元格范围》合并Excel单元格是Excel数据处理和表格设计中的一项常用操作,本文将介绍如何通过Python合并Excel中的指定行列或单... 目录python Excel库安装Python合并Excel 中的指定行Python合并Excel 中的指定列P
阅读更多...
一文详解Python中数据清洗与处理的常用方法

一文详解Python中数据清洗与处理的常用方法

《一文详解Python中数据清洗与处理的常用方法》在数据处理与分析过程中,缺失值、重复值、异常值等问题是常见的挑战,本文总结了多种数据清洗与处理方法,文中的示例代码简洁易懂,有需要的小伙伴可以参考下... 目录缺失值处理重复值处理异常值处理数据类型转换文本清洗数据分组统计数据分箱数据标准化在数据处理与分析过
阅读更多...
Python调用另一个py文件并传递参数常见的方法及其应用场景

Python调用另一个py文件并传递参数常见的方法及其应用场景

《Python调用另一个py文件并传递参数常见的方法及其应用场景》：本文主要介绍在Python中调用另一个py文件并传递参数的几种常见方法,包括使用import语句、exec函数、subproce... 目录前言1. 使用import语句1.1 基本用法1.2 导入特定函数1.3 处理文件路径2. 使用ex
阅读更多...
Python脚本实现自动删除C盘临时文件夹

Python脚本实现自动删除C盘临时文件夹

《Python脚本实现自动删除C盘临时文件夹》在日常使用电脑的过程中,临时文件夹往往会积累大量的无用数据,占用宝贵的磁盘空间,下面我们就来看看Python如何通过脚本实现自动删除C盘临时文件夹吧... 目录一、准备工作二、python脚本编写三、脚本解析四、运行脚本五、案例演示六、注意事项七、总结在日常使用
阅读更多...
Python将大量遥感数据的值缩放指定倍数的方法(推荐)

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块，批量读取大量多波段遥感影像文件，分别对各波段数据加以数值处
阅读更多...
python管理工具之conda安装部署及使用详解

python管理工具之conda安装部署及使用详解

《python管理工具之conda安装部署及使用详解》这篇文章详细介绍了如何安装和使用conda来管理Python环境,它涵盖了从安装部署、镜像源配置到具体的conda使用方法,包括创建、激活、安装包... 目录pytpshheraerUhon管理工具：conda部署+使用一、安装部署1、 下载2、 安装3
阅读更多...
Python进阶之Excel基本操作介绍

Python进阶之Excel基本操作介绍

《Python进阶之Excel基本操作介绍》在现实中,很多工作都需要与数据打交道,Excel作为常用的数据处理工具,一直备受人们的青睐,本文主要为大家介绍了一些Python中Excel的基本操作,希望... 目录概述写入使用 xlwt使用 XlsxWriter读取修改概述在现实中，很多工作都需要与数据打交
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2