Python实用教程系列——Logging日志模块

2024-03-27 09:38
文章标签 python logging 模块 日志 系列 实用教程

本文主要是介绍Python实用教程系列——Logging日志模块，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 

Python实用教程系列——Logging日志模块

 

上篇文章讲述了Python中的相关异常的知识——Python实用教程系列——异常处理，包括异常的种类以及异常的处理方式，以及使用实例的方式说明了一些常用异常的处理。这次，我们来讲述一下Python中的另一个实用的教程，日志相关的知识。

很多的小伙伴在平时写代码的时候，基本上使用的都是使用print()函数来进行一些日志的打印，使用print()来进行一些代码的调试，在较小的程序中这样做是可以的。但是在实际的工程项目中，我们需要保存程序运行的日志，以排查程序在某一个时候崩溃的具体原因，以便及时定位Bug进行抢救，而在Python中，logging就可以十分灵活的帮助我们记录程序运行的过程的中的一些信息。

那么日志的作用是什么呢？

归纳起来日志的作用有三点：

  • 进行程序(代码)的调试
  • 程序运行过程中的问题定位和分析
  • 收集程序运行的情况

接下来我们就来介绍Python中的标准库Logging的相关知识：

一、日志等级

Logging中的日志等级如下：

使用Python的小伙伴对WARNING和ERROR特别的熟悉，在一些模块版本过低的时候运行程序就会出现WARNING的警告。我们来看一些代码:

import logging
import logging
# 设置打印日志的级别，level级别以上的日志会打印出
# level=logging.DEBUG 、INFO 、WARNING、ERROR、CRITICAL
def log_testing():# 此处进行Logging.basicConfig() 设置，后面设置无效logging.basicConfig(level=logging.ERROR)logging.debug('debug，用来打印一些调试信息，级别最低')logging.info('info，用来打印一些正常的操作信息')logging.warning('waring，用来用来打印警告信息')logging.error('error，一般用来打印一些错误信息')logging.critical('critical，用来打印一些致命的错误信息，等级最高')log_testing()

当然了，上述的一些信息是输出到控制台的，下文我们将介绍日志输出到文件的方法。细心的小伙伴会发现

logging.basicConfig(level=http://logging.INFO)

这段代码主要是用来配置日志的输出的，代码会将level以上级别日志输出，比如设置

level=logging.ERROR.

稍微总结一下就是：程序在运行的过程中会记录下大于或等于这个日志级别的日志信息，如果不设置level的值则打印大于等于 WARNING 级别的日志。

二、Logging.basicConfig()

logging.basicConfig()的参数除了日志等级的这个参数可以设置以外，还可以设置其他的参数，比如：

上表提到日志的输出格式参数format,其控制着日志输出的一些格式：

我们来看看怎么使用：

import logging
# 设置打印日志的级别，level级别以上的日志会打印出
# level=logging.DEBUG 、INFO 、WARNING、ERROR、CRITICAL
def log_testing():# 此处进行Logging.basicConfig() 设置，后面设置无效logging.basicConfig(filename='log.txt',format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s-%(funcName)s',level=logging.ERROR)logging.debug('debug，用来打印一些调试信息，级别最低')logging.info('info，用来打印一些正常的操作信息')logging.warning('waring，用来用来打印警告信息')logging.error('error，一般用来打印一些错误信息')logging.critical('critical，用来打印一些致命的错误信息，等级最高')log_testing()

filemode也是一个常用的参数，不设的话默认为'a'，即追加模式；也可以设为'w'，那么每次写日志会覆盖之前的日志。

上述代码产生的日志文件截图如下：

上述日志详情中出现了一个root字眼，这是root日志器的意思，我们也可以使用logging.getLogger()函数来自定义一个日志器：

import logging
def log_testing():selflogger = logging.getLogger('THIS-LOGGING')logging.basicConfig(filename='log.txt',format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s-%(funcName)s',level=logging.ERROR)selflogger.warning('waring，用来用来打印警告信息')selflogger.error('error，一般用来打印一些错误信息')selflogger.critical('critical，用来打印一些致命的错误信息，等级最高')log_testing()

 

可以看到在日志结果文件中，THIS-LOGGING代替了原来的root日志器了

三、Logging组件

Logging中除了以上的一些设置之外，logging还提供了几个组件（类）供我们实现一些特殊的功能，它们主要是：

 

这些组件共同完成日志的配置和输出：

  • Logger需要通过handler将日志信息输出到目标位置，目标位置可以是sys.stdout和文件等。
  • 不同的Handler可以将日志输出到不同的位置(不同的日志文件)。
  • Logger可以设置多个handler将同一条日志记录输出到不同的位置。
  • 每个Handler都可以设置自己的filter从而实现日志过滤，保留实际项目中需要的日志。
  • formatter实现同一条日志以不同的格式输出到不同的地方。

简单的说就是：日志器作为入口，通过设置处理器的方式将日志输出，处理器再通过过滤器和格式器对日志进行相应的处理操作。

我们来简单的介绍一下这些组件中一些常用的方法：

1.Logger类

 

2.Handler类

3.Fliter类

看名字大家就知道这是一个过滤类，那么过滤什么呢？

Filter可以被Handler和Logger用来做比之前设置的日志等级level更为细粒度的、更复杂的相关过滤功能。

简单的说Filter是一个过滤器基类，它只允许某个logger层级下的日志事件通过过滤，保存下来。该类定义如下：

class logging.Filter(name='')filter(record)

过滤举例：

例如用 ‘A.B’ 初始化的 Filter，那么其允许Logger ‘A.B’, ‘A.B.C’, ‘A.B.C.D’, ‘A.B.D’ 等日志记录的事件，logger‘A.BB’, ‘B.A.B’ 等就不满足过滤的条件。

如果用空字符串来对Filter初始化，所有日志记录的事件都将不会被过滤。

4.Formater类

Formater类主要负责日志的格式化输出的。

可通过logging.basicConfig或logging.Formatter函数来配置日志输出内容。

如：formatter = logging.Formatter(fmt=None, datefmt=None)。

如果不指明 fmt，将默认使用 '%(message)s' ，如果不指明 datefmt，将默认使用 ISO8601 日期格式。

说了这么多，我们先看两个简单的例子：

# 例1

import logging
from logging.handlers import RotatingFileHandlerdef logging_fun():# 创建日志的记录等级设logging.basicConfig(level=logging.DEBUG)# 创建日志记录器，指明日志保存的路径，每个日志文件的最大值，保存的日志文件个数上限log_handle = RotatingFileHandler("log.txt", maxBytes=1024 * 1024, backupCount=5)# 创建日志记录的格式formatter = logging.Formatter("format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s-%(funcName)s',")# 为创建的日志记录器设置日志记录格式log_handle.setFormatter(formatter)# 为全局的日志工具对象添加日志记录器logging.getLogger().addHandler(log_handle)logging.warning('用来用来打印警告信息')logging.error('一般用来打印一些错误信息')logging.critical('用来打印一些致命的错误信息，等级最高')logging_fun()

 

# 例2

import logging
def log_file():log_file = 'testfun.log'handler_test = logging.FileHandler(log_file) # stdout to filehandler_control = logging.StreamHandler()    # stdout to consolehandler_test.setLevel('ERROR')               # 设置ERROR级别handler_control.setLevel('INFO')             # 设置INFO级别selfdef_fmt = '%(asctime)s - %(funcName)s - %(levelname)s - %(message)s'formatter = logging.Formatter(selfdef_fmt)handler_test.setFormatter(formatter)handler_control.setFormatter(formatter)logger = logging.getLogger('updateSecurity')logger.setLevel('DEBUG')           #设置了这个才会把debug以上的输出到控制台logger.addHandler(handler_test)    #添加handlerlogger.addHandler(handler_control)logger.info('info,一般的信息输出')logger.warning('waring，用来用来打印警告信息')logger.error('error，一般用来打印一些错误信息')logger.critical('critical，用来打印一些致命的错误信息，等级最高')log_file()

 

上述代码使用了四个组件中的一些简单的方法，大家可以自己看一下，很简单。

四、配置文件

1.conf形式的配置文件

我们知道在logging.basicConfig()中，是进行一些日志的配置的，如果每次都去改动代码，那将变得十分的麻烦，特别是在程序发布或者上线的时候。所以我们可以使用一个什么好的方法来规避这个问题呢？有的，那就是配置文件。

我们在文件loguser.conf中写入相关的信息，内容如下：

[loggers]
keys=root,fileLogger,rotatingFileLogger[handlers]
keys=consoleHandler,fileHandler,rotatingFileHandler[formatters]
keys=simpleFormatter[logger_root]
level=INFO
handlers=consoleHandler[logger_fileLogger]
level=INFO
handlers=fileHandler
qualname=fileLogger
propagate=0[logger_rotatingFileLogger]
level=INFO
handlers=consoleHandler,rotatingFileHandler
qualname=rotatingFileLogger
propagate=0[handler_consoleHandler]
class=StreamHandler
level=INFO
formatter=simpleFormatter
args=(sys.stdout,)[handler_fileHandler]
class=FileHandler
level=INFO
formatter=simpleFormatter
args=("logs/fileHandler_test.log", "a")[handler_rotatingFileHandler]
class=handlers.RotatingFileHandler
level=WARNING
formatter=simpleFormatter
args=("logs/rotatingFileHandler.log", "a", 10*1024*1024, 50)[formatter_simpleFormatter]
format=%(asctime)s - %(module)s - %(levelname)s -%(thread)d : %(message)s
datefmt=%Y-%m-%d %H:%M:%S

那么使用这个配置文件的代码可以如下：

import logging
import os
from logging import configdef log_config():#'读取日志配置文件'path = r'C:\Users\TEN\Desktop\ Logg\log_config.conf'if os.path.exists(path):with open(path,"r",encoding = 'utf-8') as f:logging.config.fileConfig(f)#创建一个日志器loggerlogger = logging.getLogger(name="fileLogger")rotating_logger = logging.getLogger(name="rotatingFileLogger")logger.debug('debug')logger.info('info')logger.warning('warn')logger.error('error')logger.critical('critical')rotating_logger.debug('debug')rotating_logger.info('info')rotating_logger.warning('warn')rotating_logger.error('error')rotating_logger.critical('critical')log_config()

具体的输出这里就不展开了，大家可以敲击代码试试。

细心的同学可能发现[logger_fileLogger]和[logger_rotatingFileLogger]中有一个属性值propagate，在我们的例子中propagate被设置为0的，实际上这个值默认为1，这两者有什么区别呢？

将logger_fileLogger和logger_rotatingFileLogger的属性值propagate设置为1，那么这些个logger在处理完日志记录后，把日志记录传递给了上级的logger_root再次进行一些处理，这样的话我们设置的保存日志的文件和控制台这两个地方都有相关日志记录。

基于此，我们将propagate的值设置为0，这样就可以避免日志记录向上层的日志器进行传递。

配置文件除了上述的.conf格式文件以外，我们还可以配置字典形式以及yaml形式的配置文件，接下来我们来看看yaml形式的配置文件该怎么做，个人比较喜欢这种模式：

2.yaml形式

假设我配置的logtest.yaml的文件的内容如下：

version: 1
disable_existing_loggers: False
# formatters配置了日志输出时的样式
# formatters定义了一组formatID,有不同的格式;
formatters:brief:format: "%(asctime)s - %(message)s"simple:format: "%(asctime)s - [%(name)s] - [%(levelname)s] :%(levelno)s: %(message)s"datefmt: '%F %T'
# handlers配置了需要处理的日志信息,logging模块的handler只有streamhandler和filehandler
handlers:console:class : logging.StreamHandlerformatter: brieflevel   : DEBUGstream  : ext://sys.stdoutinfo_file_handler:class : logging.FileHandlerformatter: simplelevel: ERRORfilename: ./mylog/debug_test.logerror_file_handler:class: logging.handlers.RotatingFileHandlerlevel: ERRORformatter: simplefilename: ./mylog/errors.logmaxBytes: 10485760 # 10MB #1024*1024*10backupCount: 50encoding: utf8loggers:
#fileLogger, 就是在代码中通过logger = logging.getLogger("fileLogger")来获得该类型的loggermy_testyaml:level: DEBUGhandlers: [console, info_file_handler,error_file_handler]
# root为默认情况下的输出配置, 当logging.getLogger("fileLoggername")里面的fileLoggername没有传值的时候,
# 就是用的这个默认的root,如logging.getLogger(__name__)或logging.getLogger()
root:level: DEBUGhandlers: [console]

 

disable_existing_loggers：这是一个布尔型值的参数，默认值为True（为了向后兼容）表示禁用已经存在的logger；

如果值为False则对已存在的loggers保持启动状态，这里设置为False。

那么使用这个logtest.yaml的代码的示例如下：

import logging
import os
from logging import config
import yamldef use_yaml_config(default_path='.\mylog\config.yaml', default_level=logging.INFO):path = default_pathif os.path.exists(path):with open(path, 'r', encoding = 'utf-8') as f:config = yaml.load(stream=f, Loader=yaml.FullLoader)logging.config.dictConfig(config)else:logging.basicConfig(level=default_level)if '__main__' == __name__:use_yaml_config(default_path='.\mylog\logtest.yaml')# root的loggerroot = logging.getLogger()# 子记录器的名字与配置文件中loggers字段内的保持一致# loggers:#   my_testyaml:#       level: DEBUG#       handlers: [console, info_file_handler,error_file_handler]my_testyaml = logging.getLogger("my_testyaml")print("rootlogger:", root.handlers)print("selflogger", my_testyaml.handlers)# 判断子记录器与根记录器的handler是否相同print(root.handlers[0] == my_testyaml.handlers[0])my_testyaml.info("INFO")my_testyaml.error('ERROR')my_testyaml.debug("rootDEBUG")root.info("INFO")root.error('ERROR')root.debug("rootDEBUG")

大家可以试着自己运行一下，看看最后的输出是怎样的。

五、异自定义logger日志输出文件

以上介绍的知识点，大家在平时或在实际的项目中使用基本上就足够了，下面我们简单的介绍一下怎么进行自定义logger进行日志的输出。

我们写一个sel_def_logger.py文件，文件中的定义一个类，内容如下：

import os
import sys
import logging
from time import strftime
# 输出日志路径
PATH = os.path.abspath('.') + '/logs/'
# 设置日志格式#和时间格式
FMT = '%(asctime)s %(filename)s [line:%(lineno)d] %(levelname)s: %(message)s'
DATEFMT = '%Y-%m-%d %H:%M:%S'class MyLog(object):def __init__(self):self.logger = logging.getLogger()self.formatter = logging.Formatter(fmt=FMT, datefmt=DATEFMT)self.log_filename = '{0}{1}.log'.format(PATH, strftime("%Y-%m-%d"))self.logger.addHandler(self.get_file_handler(self.log_filename))self.logger.addHandler(self.get_console_handler())# 设置日志的默认级别self.logger.setLevel(logging.DEBUG)# 输出到文件handler的函数定义def get_file_handler(self, filename):filehandler = logging.FileHandler(filename, encoding="utf-8")filehandler.setFormatter(self.formatter)return filehandler# 输出到控制台handler的函数定义def get_console_handler(self):console_handler = logging.StreamHandler(sys.stdout)console_handler.setFormatter(self.formatter)return console_handler

那么使用这个类的方法可以这样写：

import datetime
from sef_def_logger import MyLog
my_logg = MyLog().logger
my_logg.info("代码开始运行的时间{}".format(datetime.datetime.now()))
my_logg.debug('看看debug')
my_logg.error('This is a error')

生成的结果在我们预先生成的文件夹logs下，有类似的时间命名的日志文件如：2020-07-05.log，日志内容如下：

到此python的日志模块logging就介绍结束了，内容还是非常多的，大家得慢慢学习慢慢体会，最重要的还是要在实际的项目中进行实战。

最后大家可以参考官方文档的知识点进行查缺补漏：

https://docs.python.org/3.7/howto/logging-cookbook.html#logging-cookbook​docs.python.org

 

 

这篇关于Python实用教程系列——Logging日志模块的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/851668。

相关文章

使用Python绘制蛇年春节祝福艺术图

使用Python绘制蛇年春节祝福艺术图

《使用Python绘制蛇年春节祝福艺术图》：本文主要介绍如何使用Python的Matplotlib库绘制一幅富有创意的“蛇年有福”艺术图,这幅图结合了数字,蛇形,花朵等装饰,需要的可以参考下... 目录1. 绘图的基本概念2. 准备工作3. 实现代码解析3.1 设置绘图画布3.2 绘制数字“2025”3.3
阅读更多...
python使用watchdog实现文件资源监控

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用，其生态环境也
阅读更多...
Python中构建终端应用界面利器Blessed模块的使用

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置：简单、快速、无障碍二、基本功能：从彩色文本到动态交互1. 显示基本内容2. 创建链
阅读更多...
Java调用Python代码的几种方法小结

Java调用Python代码的几种方法小结

《Java调用Python代码的几种方法小结》Python语言有丰富的系统管理、数据处理、统计类软件包,因此从java应用中调用Python代码的需求很常见、实用,本文介绍几种方法从java调用Pyt... 目录引言Java core使用ProcessBuilder使用Java脚本引擎总结引言python
阅读更多...
python 字典d[k]中key不存在的解决方案

python 字典d[k]中key不存在的解决方案

《python字典d[k]中key不存在的解决方案》本文主要介绍了在Python中处理字典键不存在时获取默认值的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录defaultdict：处理找不到的键的一个选择特殊方法__missing__有时候为了方便起见，
阅读更多...
使用Python绘制可爱的招财猫

使用Python绘制可爱的招财猫

《使用Python绘制可爱的招财猫》招财猫,也被称为“幸运猫”,是一种象征财富和好运的吉祥物,经常出现在亚洲文化的商店、餐厅和家庭中,今天,我将带你用Python和matplotlib库从零开始绘制一... 目录1. 为什么选择用 python 绘制？2. 绘图的基本概念3. 实现代码解析3.1 设置绘图画
阅读更多...
Python pyinstaller实现图形化打包工具

Python pyinstaller实现图形化打包工具

《Pythonpyinstaller实现图形化打包工具》：本文主要介绍一个使用PythonPYQT5制作的关于pyinstaller打包工具,代替传统的cmd黑窗口模式打包页面,实现更快捷方便的... 目录1.简介2.运行效果3.相关源码1.简介一个使用python PYQT5制作的关于pyinstall
阅读更多...
使用Python实现大文件切片上传及断点续传的方法

使用Python实现大文件切片上传及断点续传的方法

《使用Python实现大文件切片上传及断点续传的方法》本文介绍了使用Python实现大文件切片上传及断点续传的方法,包括功能模块划分（获取上传文件接口状态、临时文件夹状态信息、切片上传、切片合并）、整... 目录概要整体架构流程技术细节获取上传文件状态接口获取临时文件夹状态信息接口切片上传功能文件合并功能小
阅读更多...
python实现自动登录12306自动抢票功能

python实现自动登录12306自动抢票功能

《python实现自动登录12306自动抢票功能》随着互联网技术的发展,越来越多的人选择通过网络平台购票,特别是在中国,12306作为官方火车票预订平台,承担了巨大的访问量,对于热门线路或者节假日出行... 目录一、遇到的问题？二、改进三、进阶–展望总结一、遇到的问题？1.url-正确的表头：就是首先ur
阅读更多...
Node.js 中 http 模块的深度剖析与实战应用小结

Node.js 中 http 模块的深度剖析与实战应用小结

《Node.js中http模块的深度剖析与实战应用小结》本文详细介绍了Node.js中的http模块,从创建HTTP服务器、处理请求与响应,到获取请求参数,每个环节都通过代码示例进行解析,旨在帮... 目录Node.js 中 http 模块的深度剖析与实战应用一、引言二、创建 HTTP 服务器：基石搭建（一
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2