python中的协程(1)

2024-08-28 18:58
文章标签 python 协程

本文主要是介绍python中的协程(1),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、协程概念


协程:称为微线程,是一种用户态的轻量级线程。
发展历程:
(1)最初的生成器变形yied/send;
(2)引入@asyncio.coroutine 和 yield from
(3)在python3.5版本中引入了async和await关键字
【协程理解】
  (1)普通理解:线程是级别的,他们是又操作系统调度;协程是程序级别的,由程序员根据需要自己调度。我们把一个线程中的一个个函数称为子程序。那么子程序在执行过程中可以中断执行别的子程序。别的子程序也可以中断回来继续执行之前的子程序,这就是协程。

 子程序:在所有的语言中都是层级调用,是通过栈实现的,一个线程就是执行一个子程序,子程序的调用总是一个入口,一次返回,调用的顺序是明确的。
(2)专业理解:协程拥有自己的寄存器上下文和栈,协程在调度切换时,将寄存器上下文和栈保存到其他的地方,在切回时,恢复先前保存的寄存器上下文和栈。因此,协程能保留上一次调用时的状态。
  因此每次过程重入时,就相当于进入上一次调用的状态。
【协程优点】
 (1)无需线程上下文切换的开销,协程避免了无意义的调度,由此提高了性能,但是,程序必须自己承担调度的责任,同时协程也失去了标准线程使用多cpu的能力。
(2)无需原子操作锁定及同步的开销。
(3)方便切换控制流,简化编程模型。
(4)高并发+高扩展性+低成本,一个cpu支持上万个协程不是问题。
【协程缺点】
(1)无法利用多核资源,协程的本质是单个线程,它不能同时将单个cpu的多个核使用,协程需要和进程配合使用才能运行在多核cpu上。但是一般不需要,除非是cpu密集型的应用。
(2)进行阻塞操作(耗时IO)会阻塞程序

【迭代传递数据】

####数据传递
def fun():data = "#"# yield 不但可以返回一个值,并且它还可以接收调用者发送的参数r =yield  dataprint("-------------1-------------------",r,data)r =yield  dataprint("-------------2-------------------",r,data)r =yield  dataprint("-------------3-------------------",r,data)r = yield data
g = fun()
# print(g,type(g)) # <generator object fun at 0x000001C73A4534F8> <class 'generator'>
# next无法传参,只能拿到返回值,传递参数需要使用send
print(g.send(None)) # send就是启动
print(g.send("a"))
print(g.send("b"))
print(g.send("c"))
# print(next(g))

【异步】

   异步是和同步相对的,指在处理调用这个事务之后,不会等待这个事务的处理结果,直接去处理第二个事务了,通过状态、通知、回调来通知调用者处理结果。

import time
import asyncio
# async就是定义异步函数(也就是定义一个协程)
async  def func():# 模拟一个耗时IO操作asyncio.sleep(1)print("time:%s" % time.time())
loop = asyncio.get_event_loop()
for i in range(5):loop.run_until_complete(func())

2、asyncio模块

 python3.5内置了asyncio对异步IO支持。
编程模式:是有一个消息循环,我们从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程仍到EventLoop中执行,就实现了异步。
说明:到目前为止实现协程的不仅只有asyncio,还有gevent和tornado都实现了类似的功能。
【关键字】
(1)event_loop 事件循环:程序开启一个无限循环也就是死循环,把一些函数注册到事件循环中;当满足条件发送时,调用相应的协程函数
(2)coroutine 协程:协程对象,指一个使用async关键字定义的函数,它的调用不会立即执行函数,而是会返回一个协程对象。协程对象需要注册到事件循环中,是由事件循环调用。
(3) task 任务:一个协程对象就是一个原生可以挂起的函数,任务则是对协程进一步的封装,其中包含了任务的各种状态。
(4) future:英文单词含义是将来,代表将来执行或没有执行的任务的结果,它和task和是哪个没有本质区别;
(5)async/await:python3.5用定义协程的关键字。async定义协程,await用于挂起阻塞异步调用接口。

2.1、定义一个协程

import time
import asyncio
# 通过async关键字定义了一个协程,,协程不能直接运行,需要将协程加入到事件循环中
async def run(x):print("waiting:%d" %x)
start = time.time()
coroutine = run(2) # 得到一个协程对象,这个时候run()函数没有执行
print(coroutine) # <coroutine object run at 0x000002B07ADC74C8> 发现没有调用loop = asyncio.get_event_loop() # 创建一个事件循环(注意:其实真是情况是asyncio模块中获取一个引用)# 将协程对象加入到事件循环中
loop.run_until_complete(coroutine)end = time.time()
print("Time:",end-start)

运行结果如下:

<coroutine object run at 0x000002351F018448>
waiting:2
Time: 0.006769657135009766

2.2、定义一个task任务

import asyncio
import time
async def run(x):# 定义协程对象print("waiting:%d" %x)
start = time.time()
coroutine = run(2) # 得到一个协程对象,这个时候run()函数没有执行
print(coroutine) 
loop = asyncio.get_event_loop() # 创建一个事件循环(注意:其实真是情况是asyncio模块中获取一个引用)
# 将协程对象加入到事件循环中,协程对象不能直接运行,在注册事件循环的时候,其实是run_until_complete()方法将协程对象包装成了一个任务对象
# task任务对象是Future类的子类对象,保存了协程运行后的状态,用于未来获取协程的结果。
# loop.run_until_complete(coroutine)
# 创建任务
task =  asyncio.ensure_future(coroutine)
# 第二种创建任务方式 task = loop.create_task(coroutine)
print(task)
#将任务加入事件循环中
loop.run_until_complete(task)
end = time.time()
print("Time:",end-start)

运行结果如下:

<coroutine object run at 0x0000021B568B9448>
<Task pending coro=<run() running at D:/py_workspace/spider_project/01异步/2创建一个任务task.py:6>>
waiting:2
Time: 0.0035004615783691406

2.3、协程绑定回调

import asyncio
import time
async def run(x):print("waiting:%d" %x)return  "done after %d" %x
def callback(future): # 定义一个回调函数,参数为future,任务对象print("callback",future.result())
start = time.time()
coroutine = run(2) # 得到一个协程对象,这个时候run()函数没有执行
loop = asyncio.get_event_loop() # 创建一个事件循环(注意:其实真是情况是asyncio模块中获取一个引用)
task =  asyncio.ensure_future(coroutine) # 创建任务
task.add_done_callback(callback) # 给任务添加回调,在任务结束后调用回调函数
loop.run_until_complete(task)#将任务加入事件循环中
end = time.time()
print("Time:",end-start)

运行结果:

waiting:2
callback done after 2
Time: 0.0018661022186279297

2.4、阻塞和await

import asyncio
import time
async def run(x):# async定义协程对象,使用await可以针对耗时的操作进行挂起,就像生成器yield一样,函数交出控制权。# 协程遇到await事件循环将会挂起该协程,执其他协程,直到其他协程也挂起或者执行完毕,再进行下一个协程的执行print("waiting:%d" % x)# 调用一个耗时IO操作await asyncio.sleep(x) # asyncio.sleep另一个协程对象return "done after %d over" % xdef callback(future):print("callback:",future.result())start = time.time()
coroutine = run(10) # 得到一个协程对象,这个时候run()函数没有执行
loop = asyncio.get_event_loop() # 创建一个事件循环(注意:其实真是情况是asyncio模块中获取一个引用)
task =  asyncio.ensure_future(coroutine) # 创建任务
task.add_done_callback(callback)
loop.run_until_complete(task)#将任务加入事件循环中
end = time.time()
print("Time:",end-start)

运行结果:

waiting:10
callback: done after 10 over
Time: 10.019726753234863

这篇关于python中的协程(1)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1115608

相关文章

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核