Python实用教程系列——Logging日志模块

2024-03-27 09:38

本文主要是介绍Python实用教程系列——Logging日志模块,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

Python实用教程系列——Logging日志模块

 

上篇文章讲述了Python中的相关异常的知识——Python实用教程系列——异常处理,包括异常的种类以及异常的处理方式,以及使用实例的方式说明了一些常用异常的处理。这次,我们来讲述一下Python中的另一个实用的教程,日志相关的知识。

很多的小伙伴在平时写代码的时候,基本上使用的都是使用print()函数来进行一些日志的打印,使用print()来进行一些代码的调试,在较小的程序中这样做是可以的。但是在实际的工程项目中,我们需要保存程序运行的日志,以排查程序在某一个时候崩溃的具体原因,以便及时定位Bug进行抢救,而在Python中,logging就可以十分灵活的帮助我们记录程序运行的过程的中的一些信息。

那么日志的作用是什么呢?

归纳起来日志的作用有三点:

  • 进行程序(代码)的调试
  • 程序运行过程中的问题定位和分析
  • 收集程序运行的情况

接下来我们就来介绍Python中的标准库Logging的相关知识:

一、日志等级

Logging中的日志等级如下:

使用Python的小伙伴对WARNINGERROR特别的熟悉,在一些模块版本过低的时候运行程序就会出现WARNING的警告。我们来看一些代码:

import logging
import logging
# 设置打印日志的级别,level级别以上的日志会打印出
# level=logging.DEBUG 、INFO 、WARNING、ERROR、CRITICAL
def log_testing():# 此处进行Logging.basicConfig() 设置,后面设置无效logging.basicConfig(level=logging.ERROR)logging.debug('debug,用来打印一些调试信息,级别最低')logging.info('info,用来打印一些正常的操作信息')logging.warning('waring,用来用来打印警告信息')logging.error('error,一般用来打印一些错误信息')logging.critical('critical,用来打印一些致命的错误信息,等级最高')log_testing()

当然了,上述的一些信息是输出到控制台的,下文我们将介绍日志输出到文件的方法。细心的小伙伴会发现

logging.basicConfig(level=http://logging.INFO)

这段代码主要是用来配置日志的输出的,代码会将level以上级别日志输出,比如设置

level=logging.ERROR.

稍微总结一下就是:程序在运行的过程中会记录下大于或等于这个日志级别的日志信息,如果不设置level的值则打印大于等于 WARNING 级别的日志。

二、Logging.basicConfig()

logging.basicConfig()的参数除了日志等级的这个参数可以设置以外,还可以设置其他的参数,比如:

上表提到日志的输出格式参数format,其控制着日志输出的一些格式:

我们来看看怎么使用:

import logging
# 设置打印日志的级别,level级别以上的日志会打印出
# level=logging.DEBUG 、INFO 、WARNING、ERROR、CRITICAL
def log_testing():# 此处进行Logging.basicConfig() 设置,后面设置无效logging.basicConfig(filename='log.txt',format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s-%(funcName)s',level=logging.ERROR)logging.debug('debug,用来打印一些调试信息,级别最低')logging.info('info,用来打印一些正常的操作信息')logging.warning('waring,用来用来打印警告信息')logging.error('error,一般用来打印一些错误信息')logging.critical('critical,用来打印一些致命的错误信息,等级最高')log_testing()

filemode也是一个常用的参数,不设的话默认为'a',即追加模式;也可以设为'w',那么每次写日志会覆盖之前的日志。

上述代码产生的日志文件截图如下:

上述日志详情中出现了一个root字眼,这是root日志器的意思,我们也可以使用logging.getLogger()函数来自定义一个日志器:

import logging
def log_testing():selflogger = logging.getLogger('THIS-LOGGING')logging.basicConfig(filename='log.txt',format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s-%(funcName)s',level=logging.ERROR)selflogger.warning('waring,用来用来打印警告信息')selflogger.error('error,一般用来打印一些错误信息')selflogger.critical('critical,用来打印一些致命的错误信息,等级最高')log_testing()

 

可以看到在日志结果文件中,THIS-LOGGING代替了原来的root日志器了

三、Logging组件

Logging中除了以上的一些设置之外,logging还提供了几个组件(类)供我们实现一些特殊的功能,它们主要是:

 

这些组件共同完成日志的配置和输出:

  • Logger需要通过handler将日志信息输出到目标位置,目标位置可以是sys.stdout和文件等。
  • 不同的Handler可以将日志输出到不同的位置(不同的日志文件)。
  • Logger可以设置多个handler将同一条日志记录输出到不同的位置。
  • 每个Handler都可以设置自己的filter从而实现日志过滤,保留实际项目中需要的日志。
  • formatter实现同一条日志以不同的格式输出到不同的地方。

简单的说就是:日志器作为入口,通过设置处理器的方式将日志输出,处理器再通过过滤器和格式器对日志进行相应的处理操作。

我们来简单的介绍一下这些组件中一些常用的方法:

1.Logger类

 

2.Handler类

3.Fliter类

看名字大家就知道这是一个过滤类,那么过滤什么呢?

Filter可以被Handler和Logger用来做比之前设置的日志等级level更为细粒度的、更复杂的相关过滤功能。

简单的说Filter是一个过滤器基类,它只允许某个logger层级下的日志事件通过过滤,保存下来。该类定义如下:

class logging.Filter(name='')filter(record)

过滤举例:

例如用 ‘A.B’ 初始化的 Filter,那么其允许Logger ‘A.B’, ‘A.B.C’, ‘A.B.C.D’, ‘A.B.D’ 等日志记录的事件,logger‘A.BB’, ‘B.A.B’ 等就不满足过滤的条件。

如果用空字符串来对Filter初始化,所有日志记录的事件都将不会被过滤。

4.Formater类

Formater类主要负责日志的格式化输出的。

可通过logging.basicConfiglogging.Formatter函数来配置日志输出内容。

如:formatter = logging.Formatter(fmt=None, datefmt=None)。

如果不指明 fmt,将默认使用 '%(message)s' ,如果不指明 datefmt,将默认使用 ISO8601 日期格式。

说了这么多,我们先看两个简单的例子:

# 例1

import logging
from logging.handlers import RotatingFileHandlerdef logging_fun():# 创建日志的记录等级设logging.basicConfig(level=logging.DEBUG)# 创建日志记录器,指明日志保存的路径,每个日志文件的最大值,保存的日志文件个数上限log_handle = RotatingFileHandler("log.txt", maxBytes=1024 * 1024, backupCount=5)# 创建日志记录的格式formatter = logging.Formatter("format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s-%(funcName)s',")# 为创建的日志记录器设置日志记录格式log_handle.setFormatter(formatter)# 为全局的日志工具对象添加日志记录器logging.getLogger().addHandler(log_handle)logging.warning('用来用来打印警告信息')logging.error('一般用来打印一些错误信息')logging.critical('用来打印一些致命的错误信息,等级最高')logging_fun()

 

# 例2

import logging
def log_file():log_file = 'testfun.log'handler_test = logging.FileHandler(log_file) # stdout to filehandler_control = logging.StreamHandler()    # stdout to consolehandler_test.setLevel('ERROR')               # 设置ERROR级别handler_control.setLevel('INFO')             # 设置INFO级别selfdef_fmt = '%(asctime)s - %(funcName)s - %(levelname)s - %(message)s'formatter = logging.Formatter(selfdef_fmt)handler_test.setFormatter(formatter)handler_control.setFormatter(formatter)logger = logging.getLogger('updateSecurity')logger.setLevel('DEBUG')           #设置了这个才会把debug以上的输出到控制台logger.addHandler(handler_test)    #添加handlerlogger.addHandler(handler_control)logger.info('info,一般的信息输出')logger.warning('waring,用来用来打印警告信息')logger.error('error,一般用来打印一些错误信息')logger.critical('critical,用来打印一些致命的错误信息,等级最高')log_file()

 

上述代码使用了四个组件中的一些简单的方法,大家可以自己看一下,很简单。

四、配置文件

1.conf形式的配置文件

我们知道在logging.basicConfig()中,是进行一些日志的配置的,如果每次都去改动代码,那将变得十分的麻烦,特别是在程序发布或者上线的时候。所以我们可以使用一个什么好的方法来规避这个问题呢?有的,那就是配置文件。

我们在文件loguser.conf中写入相关的信息,内容如下:

[loggers]
keys=root,fileLogger,rotatingFileLogger[handlers]
keys=consoleHandler,fileHandler,rotatingFileHandler[formatters]
keys=simpleFormatter[logger_root]
level=INFO
handlers=consoleHandler[logger_fileLogger]
level=INFO
handlers=fileHandler
qualname=fileLogger
propagate=0[logger_rotatingFileLogger]
level=INFO
handlers=consoleHandler,rotatingFileHandler
qualname=rotatingFileLogger
propagate=0[handler_consoleHandler]
class=StreamHandler
level=INFO
formatter=simpleFormatter
args=(sys.stdout,)[handler_fileHandler]
class=FileHandler
level=INFO
formatter=simpleFormatter
args=("logs/fileHandler_test.log", "a")[handler_rotatingFileHandler]
class=handlers.RotatingFileHandler
level=WARNING
formatter=simpleFormatter
args=("logs/rotatingFileHandler.log", "a", 10*1024*1024, 50)[formatter_simpleFormatter]
format=%(asctime)s - %(module)s - %(levelname)s -%(thread)d : %(message)s
datefmt=%Y-%m-%d %H:%M:%S

那么使用这个配置文件的代码可以如下:

import logging
import os
from logging import configdef log_config():#'读取日志配置文件'path = r'C:\Users\TEN\Desktop\ Logg\log_config.conf'if os.path.exists(path):with open(path,"r",encoding = 'utf-8') as f:logging.config.fileConfig(f)#创建一个日志器loggerlogger = logging.getLogger(name="fileLogger")rotating_logger = logging.getLogger(name="rotatingFileLogger")logger.debug('debug')logger.info('info')logger.warning('warn')logger.error('error')logger.critical('critical')rotating_logger.debug('debug')rotating_logger.info('info')rotating_logger.warning('warn')rotating_logger.error('error')rotating_logger.critical('critical')log_config()

具体的输出这里就不展开了,大家可以敲击代码试试。

细心的同学可能发现[logger_fileLogger][logger_rotatingFileLogger]中有一个属性值propagate,在我们的例子中propagate被设置为0的,实际上这个值默认为1,这两者有什么区别呢?

logger_fileLoggerlogger_rotatingFileLogger的属性值propagate设置为1,那么这些个logger在处理完日志记录后,把日志记录传递给了上级的logger_root再次进行一些处理,这样的话我们设置的保存日志的文件和控制台这两个地方都有相关日志记录。

基于此,我们将propagate的值设置为0,这样就可以避免日志记录向上层的日志器进行传递。

配置文件除了上述的.conf格式文件以外,我们还可以配置字典形式以及yaml形式的配置文件,接下来我们来看看yaml形式的配置文件该怎么做,个人比较喜欢这种模式:

2.yaml形式

假设我配置的logtest.yaml的文件的内容如下:

version: 1
disable_existing_loggers: False
# formatters配置了日志输出时的样式
# formatters定义了一组formatID,有不同的格式;
formatters:brief:format: "%(asctime)s - %(message)s"simple:format: "%(asctime)s - [%(name)s] - [%(levelname)s] :%(levelno)s: %(message)s"datefmt: '%F %T'
# handlers配置了需要处理的日志信息,logging模块的handler只有streamhandler和filehandler
handlers:console:class : logging.StreamHandlerformatter: brieflevel   : DEBUGstream  : ext://sys.stdoutinfo_file_handler:class : logging.FileHandlerformatter: simplelevel: ERRORfilename: ./mylog/debug_test.logerror_file_handler:class: logging.handlers.RotatingFileHandlerlevel: ERRORformatter: simplefilename: ./mylog/errors.logmaxBytes: 10485760 # 10MB #1024*1024*10backupCount: 50encoding: utf8loggers:
#fileLogger, 就是在代码中通过logger = logging.getLogger("fileLogger")来获得该类型的loggermy_testyaml:level: DEBUGhandlers: [console, info_file_handler,error_file_handler]
# root为默认情况下的输出配置, 当logging.getLogger("fileLoggername")里面的fileLoggername没有传值的时候,
# 就是用的这个默认的root,如logging.getLogger(__name__)或logging.getLogger()
root:level: DEBUGhandlers: [console]

 

disable_existing_loggers:这是一个布尔型值的参数,默认值为True(为了向后兼容)表示禁用已经存在的logger;

如果值为False则对已存在的loggers保持启动状态,这里设置为False。

那么使用这个logtest.yaml的代码的示例如下:

import logging
import os
from logging import config
import yamldef use_yaml_config(default_path='.\mylog\config.yaml', default_level=logging.INFO):path = default_pathif os.path.exists(path):with open(path, 'r', encoding = 'utf-8') as f:config = yaml.load(stream=f, Loader=yaml.FullLoader)logging.config.dictConfig(config)else:logging.basicConfig(level=default_level)if '__main__' == __name__:use_yaml_config(default_path='.\mylog\logtest.yaml')# root的loggerroot = logging.getLogger()# 子记录器的名字与配置文件中loggers字段内的保持一致# loggers:#   my_testyaml:#       level: DEBUG#       handlers: [console, info_file_handler,error_file_handler]my_testyaml = logging.getLogger("my_testyaml")print("rootlogger:", root.handlers)print("selflogger", my_testyaml.handlers)# 判断子记录器与根记录器的handler是否相同print(root.handlers[0] == my_testyaml.handlers[0])my_testyaml.info("INFO")my_testyaml.error('ERROR')my_testyaml.debug("rootDEBUG")root.info("INFO")root.error('ERROR')root.debug("rootDEBUG")

大家可以试着自己运行一下,看看最后的输出是怎样的。

五、异自定义logger日志输出文件

以上介绍的知识点,大家在平时或在实际的项目中使用基本上就足够了,下面我们简单的介绍一下怎么进行自定义logger进行日志的输出。

我们写一个sel_def_logger.py文件,文件中的定义一个类,内容如下:

import os
import sys
import logging
from time import strftime
# 输出日志路径
PATH = os.path.abspath('.') + '/logs/'
# 设置日志格式#和时间格式
FMT = '%(asctime)s %(filename)s [line:%(lineno)d] %(levelname)s: %(message)s'
DATEFMT = '%Y-%m-%d %H:%M:%S'class MyLog(object):def __init__(self):self.logger = logging.getLogger()self.formatter = logging.Formatter(fmt=FMT, datefmt=DATEFMT)self.log_filename = '{0}{1}.log'.format(PATH, strftime("%Y-%m-%d"))self.logger.addHandler(self.get_file_handler(self.log_filename))self.logger.addHandler(self.get_console_handler())# 设置日志的默认级别self.logger.setLevel(logging.DEBUG)# 输出到文件handler的函数定义def get_file_handler(self, filename):filehandler = logging.FileHandler(filename, encoding="utf-8")filehandler.setFormatter(self.formatter)return filehandler# 输出到控制台handler的函数定义def get_console_handler(self):console_handler = logging.StreamHandler(sys.stdout)console_handler.setFormatter(self.formatter)return console_handler

那么使用这个类的方法可以这样写:

import datetime
from sef_def_logger import MyLog
my_logg = MyLog().logger
my_logg.info("代码开始运行的时间{}".format(datetime.datetime.now()))
my_logg.debug('看看debug')
my_logg.error('This is a error')

生成的结果在我们预先生成的文件夹logs下,有类似的时间命名的日志文件如:2020-07-05.log,日志内容如下:

到此python的日志模块logging就介绍结束了,内容还是非常多的,大家得慢慢学习慢慢体会,最重要的还是要在实际的项目中进行实战。

最后大家可以参考官方文档的知识点进行查缺补漏:

https://docs.python.org/3.7/howto/logging-cookbook.html#logging-cookbook​docs.python.org

 

 

这篇关于Python实用教程系列——Logging日志模块的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/851668

相关文章

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,:本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作

Python中re模块结合正则表达式的实际应用案例

《Python中re模块结合正则表达式的实际应用案例》Python中的re模块是用于处理正则表达式的强大工具,正则表达式是一种用来匹配字符串的模式,它可以在文本中搜索和匹配特定的字符串模式,这篇文章主... 目录前言re模块常用函数一、查看文本中是否包含 A 或 B 字符串二、替换多个关键词为统一格式三、提

python常用的正则表达式及作用

《python常用的正则表达式及作用》正则表达式是处理字符串的强大工具,Python通过re模块提供正则表达式支持,本文给大家介绍python常用的正则表达式及作用详解,感兴趣的朋友跟随小编一起看看吧... 目录python常用正则表达式及作用基本匹配模式常用正则表达式示例常用量词边界匹配分组和捕获常用re

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

python删除xml中的w:ascii属性的步骤

《python删除xml中的w:ascii属性的步骤》使用xml.etree.ElementTree删除WordXML中w:ascii属性,需注册命名空间并定位rFonts元素,通过del操作删除属... 可以使用python的XML.etree.ElementTree模块通过以下步骤删除XML中的w:as

使用Python绘制3D堆叠条形图全解析

《使用Python绘制3D堆叠条形图全解析》在数据可视化的工具箱里,3D图表总能带来眼前一亮的效果,本文就来和大家聊聊如何使用Python实现绘制3D堆叠条形图,感兴趣的小伙伴可以了解下... 目录为什么选择 3D 堆叠条形图代码实现:从数据到 3D 世界的搭建核心代码逐行解析细节优化应用场景:3D 堆叠图

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器(Decorator)是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧

Python中Tensorflow无法调用GPU问题的解决方法

《Python中Tensorflow无法调用GPU问题的解决方法》文章详解如何解决TensorFlow在Windows无法识别GPU的问题,需降级至2.10版本,安装匹配CUDA11.2和cuDNN... 当用以下代码查看GPU数量时,gpuspython返回的是一个空列表,说明tensorflow没有找到