flask_apscheduler源码分析

2024-01-25 07:04

本文主要是介绍flask_apscheduler源码分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

    遵循flask框架的标准的库,称为flask扩展,flask_apscheduler模块就是一个flask扩展,它使用了flask编程上下文,同时内部完全依赖apscheduler。

    我近期使用flask_apscheduler遇到了一个所有job全部死亡的bug。现象:job平时是正常启动的,突然某个时刻全部挂了,所以需要分析一遍源码,找出解决方案,同时也能提高自己的代码阅读能力,大家一起学习进步

flask_apscheduler环境介绍

    官方文档:https://viniciuschiele.github.io/flask-apscheduler/

    当前分析版本:1.12.4

    安装方式:pip install Flask-APScheduler

    源码位置:site-packages目录下,第三方模块一般都在这个目录下,尤其是pip安装的……

    

包结构介绍 

    flask_apscheduler是个包模块,包括__init__.py,共计6个模块

代码加载顺序

from flask_apscheduler import APScheduler

     一般情况下,我们会在flask程序中,写下如上一行,此时flask_apscheduler的__init__.py中没有缩进的代码会立即执行,这也是python中__init__.py模块的加载标准,不熟悉的同学,可以去温习以下。

__init__.py模块分析

from apscheduler.schedulers.base import STATE_PAUSED, STATE_RUNNING, STATE_STOPPED
from .scheduler import APScheduler

这个包模块文件__init__.py代码量不大,只有2行代码(不算注释)

主要做了两件事

1、从标准库apscheduler下的base模块中,导入几个全局变量:STATE_PAUSED…………

2、从当前包下的scheduler模块中导入APScheduler类

标准库apscheduler的我就先不分析,先集中在自己写的这个scheduler模块,由于这里有import的操作,此时scheduler模块开始加载到内存中,我们接下来看看scheduler模块的分析……

scheduler模块分析

主要分析的是flask_apscheduler包模块下的scheduler.py模块,上图红色箭头所指

 看了下这个scheduler.py模块共计400多行,我们当然不会逐行去分析了,而是以一个一个整体的方式去分析大佬的代码,这才是分析源码的正路,细枝末节再用的时候再去看即可。。

scheduler分析过程一:模块导入

import flask
import functools
import logging
import socket
import warnings
import werkzeugfrom apscheduler.events import EVENT_ALL
from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.base import JobLookupError
from flask import make_response
from . import api
from .utils import fix_job_def, pop_trigger

总体的导入分3部分

1、标准库的导入

functools、logging、socket、warnings、apscheduler(重点依赖这个标准库)

2、第三方库

flask、werkzeug

3、自己写的模块

api、utils

整体说明:作者同时使用了标准库、比如logging用于日志打印的标准库,还有地方依赖库,当然是flask和werkzeug(flask依赖的底层网络库)、还有自己写的两个模块,api和utils。。

最最最重要的apscheduler的使用,尤其是导入BackgroundScheduler这个类

scheduler分析过程二:创建日志分析对象

LOGGER = logging.getLogger('flask_apscheduler')

 scheduler分析过程三:创建APScheduler类

class APScheduler(object):

         …………省略…………

 这个APScheduler创建的对象,是以后我们经常用的对象,作为整个模块的业务逻辑入口,后续单独开篇文章介绍这个类的封装。

初步总结

    scheduler就干了3件事、导入模块、创建日志分析对象、创建APScheduler类。

继续分析当前包模块

上面已经分析了__init__.py模块、还有scheduler.py模块,还记得scheduler.py下面这两句代码吗?

from . import api

from .utils import fix_job_def, pop_trigger

我们将继续分析api模块和utils模块,因为这俩模块先后加载到内存中了

api模块分析

scheduler.py模块加载的时候,导入了api.py模块,此时api.py模块没有缩进代码将会被执行

api模块分析过程一:模块导入

import loggingfrom apscheduler.jobstores.base import ConflictingIdError, JobLookupError
from collections import OrderedDict
from flask import current_app, request, Response
from .json import jsonify

 过程也是3部分

1、导入标准库(导入过的不会重复导入,所以这里写了也没事,内存中是同一个模块对象)

logging、apscheduler、collections模块

2、导入第三方库

flask

3、导入自己写的模块

json

api模块分析过程二:创建函数

1、连续创建了9个函数对象

2、且他们都与flask应用对象有所关联,我给找其中一个函数给大伙看看

def add_job():"""Adds a new job."""data = request.get_json(force=True)try:job = current_app.apscheduler.add_job(**data)return jsonify(job)except ConflictingIdError:logging.warning(f'Job {data.get("id")} already exists.')return jsonify(dict(error_message='Job %s already exists.' % data.get('id')), status=409)except Exception as e:logging.error(e, exc_info=True)return jsonify(dict(error_message=str(e)), status=500)

add_job,通过找个函数我们随时向调度器中添加一个job,可以说是一种动态添加job的方式!!

current_app 表示当前flask对象

current.apscheduler表示与之关联的Scheduler对象

return jsonify(job) 最终竟然也返回了一个响应,这是为啥呢?原来是flask_apscheduler给我们留的后门!!

在Scheduler类中,有个方法,是在框架中唯一使用这些api模块中的函数的地方

开关在这里,原来我们可以通过SCHEDULER_API_ENABLED,这样的flask配置修改是否开启快捷开关,这里不看源码,是肯定不知道有这个后门的,看来我也要开启了

初步总结

    api模块中的函数,可以在当前flask应用注册路由,那样我们通过http请求,就能操作job了,非常的方便debug呀,爽..

utils模块分析

    这个模块,看名字就知道是工具模块了,我们看看这个模块加载的时候干了什么

utils.py模块分析过程一:模块导入

import dateutil.parser
import sixfrom apscheduler.triggers.cron import CronTrigger
from apscheduler.triggers.date import DateTrigger
from apscheduler.triggers.interval import IntervalTrigger
from collections import OrderedDict

 1、标准库

collections

apscheduler

2、第三方库

dateutil

six

utils.py模块分析过程二:创建几个函数

作者真是代码写的干净利索啊,牛逼,这几个函数要工具相关,比如job转为字典,看来是来兜底用的模块,厉害,抽空看看几个函数具体是干啥的

json模块分析

json模块分析过程一:模块导入

from __future__ import absolute_importimport datetime
import flaskfrom apscheduler.job import Job
from .utils import job_to_dictimport json  # noqa

1、标准库

__future__

datetime

apscheduler

json

2、 三方库

flask

看来这个模块主要是操作json格式的

json模块分析过程二:创建全局变量

loads = json.loads

 拿来注意体现的好啊,创建一个loads全局变量,指向的是json模块下的loads函数,这样以后用这个函数就轻松了……

json模块分析过程三:创建函数

创建的dumps函数和jsonify函数 

json模块分析过程四:创建类

class JSONEncoder(json.JSONEncoder):def default(self, obj):if isinstance(obj, datetime.datetime):return obj.isoformat()if isinstance(obj, Job):return job_to_dict(obj)return super(JSONEncoder, self).default(obj)

创建了一个用于编解码json的类

剩下的auth.py模块分析

剩下一个auth.py模块,我没找到该模块加载的位置,不知道在哪用的。。。。

总结

1、flask_apschduler依赖标准库apschduler、只不过做了一个与flask对象上下文的结合

2、比如可以通过flask的路径,直接创建job、删除job、甚至查看job状态(但是感觉不安全啊)

3、可以继续深入到模块中的Scheduler类中继续分析,可以看到job是有挂掉的可能的。

4、看源码收获每次都是满满的,爽。。。 

这篇关于flask_apscheduler源码分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/642455

相关文章

Go使用pprof进行CPU,内存和阻塞情况分析

《Go使用pprof进行CPU,内存和阻塞情况分析》Go语言提供了强大的pprof工具,用于分析CPU、内存、Goroutine阻塞等性能问题,帮助开发者优化程序,提高运行效率,下面我们就来深入了解下... 目录1. pprof 介绍2. 快速上手:启用 pprof3. CPU Profiling:分析 C

MySQL表锁、页面锁和行锁的作用及其优缺点对比分析

《MySQL表锁、页面锁和行锁的作用及其优缺点对比分析》MySQL中的表锁、页面锁和行锁各有特点,适用于不同的场景,表锁锁定整个表,适用于批量操作和MyISAM存储引擎,页面锁锁定数据页,适用于旧版本... 目录1. 表锁(Table Lock)2. 页面锁(Page Lock)3. 行锁(Row Lock

Springboot中分析SQL性能的两种方式详解

《Springboot中分析SQL性能的两种方式详解》文章介绍了SQL性能分析的两种方式:MyBatis-Plus性能分析插件和p6spy框架,MyBatis-Plus插件配置简单,适用于开发和测试环... 目录SQL性能分析的两种方式:功能介绍实现方式:实现步骤:SQL性能分析的两种方式:功能介绍记录

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

C#使用DeepSeek API实现自然语言处理,文本分类和情感分析

《C#使用DeepSeekAPI实现自然语言处理,文本分类和情感分析》在C#中使用DeepSeekAPI可以实现多种功能,例如自然语言处理、文本分类、情感分析等,本文主要为大家介绍了具体实现步骤,... 目录准备工作文本生成文本分类问答系统代码生成翻译功能文本摘要文本校对图像描述生成总结在C#中使用Deep

Go中sync.Once源码的深度讲解

《Go中sync.Once源码的深度讲解》sync.Once是Go语言标准库中的一个同步原语,用于确保某个操作只执行一次,本文将从源码出发为大家详细介绍一下sync.Once的具体使用,x希望对大家有... 目录概念简单示例源码解读总结概念sync.Once是Go语言标准库中的一个同步原语,用于确保某个操

Redis主从/哨兵机制原理分析

《Redis主从/哨兵机制原理分析》本文介绍了Redis的主从复制和哨兵机制,主从复制实现了数据的热备份和负载均衡,而哨兵机制可以监控Redis集群,实现自动故障转移,哨兵机制通过监控、下线、选举和故... 目录一、主从复制1.1 什么是主从复制1.2 主从复制的作用1.3 主从复制原理1.3.1 全量复制

Redis主从复制的原理分析

《Redis主从复制的原理分析》Redis主从复制通过将数据镜像到多个从节点,实现高可用性和扩展性,主从复制包括初次全量同步和增量同步两个阶段,为优化复制性能,可以采用AOF持久化、调整复制超时时间、... 目录Redis主从复制的原理主从复制概述配置主从复制数据同步过程复制一致性与延迟故障转移机制监控与维

Redis连接失败:客户端IP不在白名单中的问题分析与解决方案

《Redis连接失败:客户端IP不在白名单中的问题分析与解决方案》在现代分布式系统中,Redis作为一种高性能的内存数据库,被广泛应用于缓存、消息队列、会话存储等场景,然而,在实际使用过程中,我们可能... 目录一、问题背景二、错误分析1. 错误信息解读2. 根本原因三、解决方案1. 将客户端IP添加到Re

Java汇编源码如何查看环境搭建

《Java汇编源码如何查看环境搭建》:本文主要介绍如何在IntelliJIDEA开发环境中搭建字节码和汇编环境,以便更好地进行代码调优和JVM学习,首先,介绍了如何配置IntelliJIDEA以方... 目录一、简介二、在IDEA开发环境中搭建汇编环境2.1 在IDEA中搭建字节码查看环境2.1.1 搭建步