本文主要是介绍Celery分布式应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
最近有应用需要部署到不同的服务器上运行,但是有没有PBS这样的调度系统,就想起来Python的调度神器 Celery。现在针对我的实际应用做一些记录。
1. 安装
因为我并不注重结果而是把命令拿到不同的机器上运行,所以消息代理和结果保存我都选择了 Redis
# 只需要在一台服务器上安装 redis,其他服务器均使用该服务器redis即可
sudo apt-get install redis-server# 所有服务器都要安装以下python package
sudo pip install Celery
sudo pip install redis
当然也可以选择虚拟环境安装python包。
2. 使用
目录下含有
tasks.py
test.py
test_dir
配置程序 celeryconfig.py(也可以把配置程序写到主程序内部)
# coding: utf-8
# celeryconfig.py
# 配置消息代理和结果保存数据库,均使用redis,当然也可以使用RabbitMQ
broker_url = 'redis://172.16.34.2:6379/0'
result_backend = 'redis://172.16.34.2:6379/0'# 客户端与消费者(worker)直接传输数据的序列化方式
task_serializer = 'json'
result_serializer = 'json'
accept_content = ['json']
enable_utc = True# 设置worker从消息代理处获取的任务数目,因为我运行的程序比较耗IO,而且不同的任务耗时不同,所以每次只分给一个机器一个任务
celery_acks_late = True
worker_prefetch_multiplier = 1
主程序 tasks.py(worker设置)
import sysfrom celery import Celeryapp = Celery()
app.config_from_object('celeryconfig')@app.task
def run(cmd):print('runing: %s' % cmd)print(os.uname()) # 打印机器名,可以判断在哪台机器上执行# 这个任务仅仅是运行shell命令os.system(cmd)
启动worker
这里需要在运行的机器上均运行一下命令,启动各自的worker
# 方法1
celery worker -A tasks -l info
# 这里的tasks 指的就是 tasks.py
# 这种方式启动worker,会一直占用窗口,不方便# 方法2,采用multi方式启动
celery multi start -A tasks worker --loglevel=info --autoscale=5,2 --pidfile=/your/path/celery_%n.pid --logfile=/your/path/celery_%n.log# --pidfile 存储该celery的进程id
# --logfile 存储celery的日志信息
# 涉及的 %n 表示只包含主机名, 其他还有:
# %h 包含域名的主机名
# %d 只包含域名# --autoscale 可以支持进程设置
# 5,2 表示 每个机器进程池平时保持2个进程,最大并发数为5个
测试test.py
from tasks import runfor ii in range(20):run.delay('touch test_dir/test_%s' % ii)# 这里的命令是在test_dir目录下建立20个文件# 这里使用 delay 属性,可以把需要运行的命令加入到消息队列,在各个机器上运行# 如果需要更高级的命令,我们可以使用run.apply_async(**), 可以设置更多功能,比如 优先级、延迟、重试等功能
运行test.py, 只需要在一台机器上运行,即可分布到其他机器运行。
这里仅记录我使用的过程,如需更多帮助请参考:
http://www.celeryproject.org/
这篇关于Celery分布式应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!