任务调度利器-Celery

本文主要是介绍任务调度利器-Celery，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Celery是Python开发的分布式任务调度模块，今天抽空看了一下，果然接口简单，开发容易，5分钟就写出了一个邮件异步发送的服务。

Celery本身不含消息服务，它使用第三方消息服务来传递任务，目前，Celery支持的消息服务有RabbitMQ、Redis甚至是数据库，当然Redis应该是最佳选择。本文为方便使用redis。

安装Celery

用pip或easy_install安装：

$ sudo pip install Celery

或着：

$ sudo easy_install Celery

使用Redis作为Broker时，再安装一个celery-with-redis。（pip install celery-with-redis）

开始编写tasks.py：

# tasks.py
import time
from celery import Celerycelery = Celery('tasks', broker='redis://localhost:6379/0')@celery.task
def sendmail(mail):print('sending mail to %s...' % mail['to'])time.sleep(2.0)print('mail sent.')

然后启动Celery处理任务：

$ celery -A tasks worker --loglevel=info

上面的命令行实际上启动的是Worker，如果要放到后台运行，可以扔给supervisor。

如何发送任务？非常简单：

>>> from tasks import sendmail
>>> sendmail.delay(dict(to='celery@python.org'))
<AsyncResult: 1a0a9262-7858-4192-9981-b7bf0ea7483b>

可以看到，Celery的API设计真的非常简单。

然后，在Worker里就可以看到任务处理的消息：

[2013-08-27 19:20:23,363: WARNING/MainProcess] celery@MichaeliMac.local ready.
[2013-08-27 19:20:23,367: INFO/MainProcess] consumer: Connected to redis://localhost:6379/0.
[2013-08-27 19:20:45,618: INFO/MainProcess] Got task from broker: tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b]
[2013-08-27 19:20:45,655: WARNING/PoolWorker-4] sending mail to celery@python.org...
[2013-08-27 19:20:47,657: WARNING/PoolWorker-4] mail sent.
[2013-08-27 19:20:47,658: INFO/MainProcess] Task tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b] succeeded in 2.00266814232s: None