Python 全栈系列246 任务调度对象WFlaskAPS

2024-05-14 09:12

本文主要是介绍Python 全栈系列246 任务调度对象WFlaskAPS,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

说明

之前已经完全跑通了任务调度,实现了S2S的流转Python 全栈系列243 S2S flask_celery。由于request请求用起来比较别扭,所以创建一个对象来进行便捷操作。

内容

1 功能

WFlaskAPS包含管理定时任务的必要功能

from datetime import datetime
from typing import List, Optional
from pydantic import BaseModel
import requests as req class WFlaskAPS(BaseModel):flask_aps_agent:str = 'IP:Port'# 获取当前的任务列表def get_jobs(self):url = 'http://%s/get_jobs' % self.flask_aps_agentreturn req.get(url).json()# 删除某个任务def remove_a_task(self, task_name = None):url = 'http://%s/remove_a_task/' % self.flask_aps_agentdata_dict ={}data_dict['task_id'] = task_namereturn req.post(url, json=data_dict).json()# 获取任务状态def get_jobs_status(self):url = 'http://%s/get_jobs_status/' % self.flask_aps_agentreturn req.get(url).json()# 发布一个任务(task)# task_name 其实是job type# task_id 任务的唯一编号# task_type 原来的服务只实现了cron方式,因为cron方式可以实现其他两种方式。'''date:在指定的日期和时间运行一次interval:在指定时间间隔内运行cron:使用Cron表达式运行'''def publish_a_task(self,task_id= None ,task_name = None, task_type ='cron', task_kwargs = {},year = None, month = None, day = None, week = None, day_of_week = None, hour = None,minute = None, second = None, start_date = None, end_date = None,):url = 'http://%s/publish_a_task/' % self.flask_aps_agentdata_dict = {'task_id':task_id,'task_name':task_name,'task_type':task_type,'task_kwargs':task_kwargs,'year':year,'month':month,'day':day,'week':week,'day_of_week':day_of_week,'hour':hour,'minute':minute,'second':second,'start_date':start_date,'end_date':end_date}return req.post(url, json=data_dict).json()def pause_a_task(self, task_id = None):data_dict = {}url =  'http://%s/pause_a_task/' % self.flask_aps_agentdata_dict['task_id'] = task_idreturn req.post(url, json=data_dict).json()def resume_a_task(self, task_id = None):data_dict = {}data_dict['task_id'] = task_idurl =  'http://%s/resume_a_task/' % self.flask_aps_agentreturn req.post(url, json=data_dict).json()# task_namedef add_a_job(self, fpath = None, func_name = None):url = 'http://%s/add_task_type/' % self.flask_aps_agentdata = {}data['func_name'] = func_namewith open(fpath, 'r') as f: data['func_body'] = f.read()return req.post(url, json=data).json()

从逻辑上,首先需要创建任务类型(add_a_job),之后就可以依据这个job发布n个task,发布任务时的参数是最复杂的。原始的flask apscheduler其实提供了三种触发类型:

  • 1 date 一次性触发
  • 2 interval 周期触发
  • 3 cron 触发

由于cron触发可以涵盖前两种的变化,所以在之前的服务中,只创建了cron格式的定时任务。与linux系统里的cron不同,系统里最小的周期是分钟,而这里是秒。

默认情况下,周期任务是每秒执行的。如果需要改为n秒执行,可以用 '*/5’的方式,指定重复执行的周期。通过start_date和end_date可以钳制任务的周期跨度(所以当然也包含了一次性的任务)。

使用方法比直接请求接口简洁多了

from Basefuncs import * 
# flask_aps_agent = 'IP:PORT'
wf = WFlaskAPS()# 1 获取任务列表
wf.get_jobs()
# 2 删除一个任务
wf.remove_a_task('my_test1')
# 3 获取任务状态
wf.get_jobs_status()
# 4 发布一个任务
cur_dt_str = get_time_str1()
wf.publish_a_task(task_id ='my_test1', task_name= 'hello',start_date=cur_dt_str,second ='*/5')
# 5 暂停一个任务
wf.pause_a_task(task_id = 'my_test1')
# 6 恢复任务
wf.resume_a_task(task_id = 'my_test1')# 7 增加一个job(task_name)
# wf.add_a_job()

2 Next

2.1 flask_aps_job_table

创建一张表,里面存储了job的元信息,表可以存在mymeta.flask_aps下面。

字段解释
job_namejob 名称
description描述
para_dict参数样例

2.2 flask_aps_task_table

字段解释
machine机器名, m1,m2
task_id任务id
job_name任务类型
set_to_status被设定的状态
running_status当前状态
start_dt开始时间
end_dt结束时间
interval_params周期时间

机器名是重要的,因为同样的任务可能在不同的机器上执行。

2.3 assure_tasks.py

这个脚本伴随服务的启动会执行一次:

  • 1 根据本机名称,去flask_aps_task_table寻找哪些被设定为运行的任务
  • 2 获取当前的任务列表,根据任务名,运行状态的差集执行:
    • 1 发布任务。这种情况一般是服务重启之后,运行任务丢失了。

其他类型的操作,可以后续通过前端来交互(这里又会用一下MongoEngine).

2.4 S2S Work Mode

创建一个S2S,然后让Worker根据这个来执行一些任务。

这篇关于Python 全栈系列246 任务调度对象WFlaskAPS的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/988359

相关文章

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

Python自动化批量重命名与整理文件系统

《Python自动化批量重命名与整理文件系统》这篇文章主要为大家详细介绍了如何使用Python实现一个强大的文件批量重命名与整理工具,帮助开发者自动化这一繁琐过程,有需要的小伙伴可以了解下... 目录简介环境准备项目功能概述代码详细解析1. 导入必要的库2. 配置参数设置3. 创建日志系统4. 安全文件名处

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函