celery分布式任务队列

2024-06-13 18:58
文章标签 队列 分布式 任务 celery

本文主要是介绍celery分布式任务队列,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

celery分布式任务队列

Celery是基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作,但也支持调度。

执行单元(称为任务)使用多处理,Eventlet或gevent在一个或多个工作服务器上并发执行。任务可以异步(在后台)或同步执行(等到准备就绪)。

Celery用于生产系统,每天处理数百万个任务。
异步实时处理
支持扩展
支持多种消息队列
使用AMQP协议

应用场景:

  • 后台任务
  • 一步操作
  • 定期执行的工作
  • 一定程度上的分布式计算

核心关键词:

  • Task queue:任务队列,描述在多线程或主机间任务工作的一种机制

  • Task:任务,队列输入,工作单元

  • Broker:消息代理,转发任务

  • Worker:工作者,负责执行任务
    在这里插入图片描述
    首先安装RabbitMQ-server请在我的博客里查找安装的方法
    安装redis

    yum install redis
    systemctl start redis
    ps -aux|grep redis
    #如果运行中出错  请修改celery如下所示
    pip install --upgrade https://github.com/celery/celery/tarball/master
    

pip install celery

  • 发送任务
  • 定时执行任务
  • 多台机器并发工作

task—>MQ—>worker—>db
Linux操作
1.创建task

vim task.py

在这里插入图片描述
2.启动celery服务

celery worker -A task -l info

在这里插入图片描述
在这里插入图片描述
3.执行worker任务
打开ipython

from task import worker
w = worker.delay('log')
w.ready()
w.get()

在这里插入图片描述

[2019-03-05 17:19:21,274: WARNING/ForkPoolWorker-1] log工作正在进行
[2019-03-05 17:19:23,277: INFO/ForkPoolWorker-1] Task task.worker[fce96b65-68c9-4489-bfc2-f2a2d1bbc2aa] succeeded in 2.0033699511550367s: 'logOK'

下面说明执行定时任务

vim run.py

在这里插入图片描述

 vim config.py

在这里插入图片描述

vim task_log.py

在这里插入图片描述

启动

#celery worker -A task_log -l info
celery beat -A task_log -l info

分布式

在这里插入图片描述

在这里插入图片描述
run.py的内容

在这里插入图片描述

在这里插入图片描述
大家可以看出任务是交替运行的

这篇关于celery分布式任务队列的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1058153

相关文章

Golang如何对cron进行二次封装实现指定时间执行定时任务

《Golang如何对cron进行二次封装实现指定时间执行定时任务》:本文主要介绍Golang如何对cron进行二次封装实现指定时间执行定时任务问题,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录背景cron库下载代码示例【1】结构体定义【2】定时任务开启【3】使用示例【4】控制台输出总结背景

在Golang中实现定时任务的几种高效方法

《在Golang中实现定时任务的几种高效方法》本文将详细介绍在Golang中实现定时任务的几种高效方法,包括time包中的Ticker和Timer、第三方库cron的使用,以及基于channel和go... 目录背景介绍目的和范围预期读者文档结构概述术语表核心概念与联系故事引入核心概念解释核心概念之间的关系

springboot如何通过http动态操作xxl-job任务

《springboot如何通过http动态操作xxl-job任务》:本文主要介绍springboot如何通过http动态操作xxl-job任务的问题,具有很好的参考价值,希望对大家有所帮助,如有错... 目录springboot通过http动态操作xxl-job任务一、maven依赖二、配置文件三、xxl-

一文详解MySQL如何设置自动备份任务

《一文详解MySQL如何设置自动备份任务》设置自动备份任务可以确保你的数据库定期备份,防止数据丢失,下面我们就来详细介绍一下如何使用Bash脚本和Cron任务在Linux系统上设置MySQL数据库的自... 目录1. 编写备份脚本1.1 创建并编辑备份脚本1.2 给予脚本执行权限2. 设置 Cron 任务2

Java中常见队列举例详解(非线程安全)

《Java中常见队列举例详解(非线程安全)》队列用于模拟队列这种数据结构,队列通常是指先进先出的容器,:本文主要介绍Java中常见队列(非线程安全)的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一.队列定义 二.常见接口 三.常见实现类3.1 ArrayDeque3.1.1 实现原理3.1.2

C++ RabbitMq消息队列组件详解

《C++RabbitMq消息队列组件详解》:本文主要介绍C++RabbitMq消息队列组件的相关知识,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1. RabbitMq介绍2. 安装RabbitMQ3. 安装 RabbitMQ 的 C++客户端库4. A

golang实现延迟队列(delay queue)的两种实现

《golang实现延迟队列(delayqueue)的两种实现》本文主要介绍了golang实现延迟队列(delayqueue)的两种实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目录1 延迟队列:邮件提醒、订单自动取消2 实现2.1 simplChina编程e简单版:go自带的time

Golang实现Redis分布式锁(Lua脚本+可重入+自动续期)

《Golang实现Redis分布式锁(Lua脚本+可重入+自动续期)》本文主要介绍了Golang分布式锁实现,采用Redis+Lua脚本确保原子性,持可重入和自动续期,用于防止超卖及重复下单,具有一定... 目录1 概念应用场景分布式锁必备特性2 思路分析宕机与过期防止误删keyLua保证原子性可重入锁自动

基于MongoDB实现文件的分布式存储

《基于MongoDB实现文件的分布式存储》分布式文件存储的方案有很多,今天分享一个基于mongodb数据库来实现文件的存储,mongodb支持分布式部署,以此来实现文件的分布式存储,需要的朋友可以参考... 目录一、引言二、GridFS 原理剖析三、Spring Boot 集成 GridFS3.1 添加依赖

Django之定时任务django-crontab的实现

《Django之定时任务django-crontab的实现》Django可以使用第三方库如django-crontab来实现定时任务的调度,本文主要介绍了Django之定时任务django-cront... 目录crontab安装django-crontab注册应用定时时间格式定时时间示例设置定时任务@符号