Python | 解决方案 | 多个文件共用logger,重复打印问题

2024-06-07 18:48

本文主要是介绍Python | 解决方案 | 多个文件共用logger,重复打印问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

项目中封装了logging库为log.py,实现既把日志输出到控制台, 又写入日志文件文件。
环境:python3.7.3

项目中,多个文件共用logger,出现重复打印问题,解决流程记录如下:

文件和调用方式如下:
log.py v1

#encoding = utf-8
#### @ Description: 日志封装文件# @ Author: fatih# @ Date: 2020-12-30 10:48:00# @ FilePath: \mechineInfo\utils\log.py# @ LastEditors: fatih# @ LastEditTime: 2021-01-11 16:18:30
###
import logging
# 既把日志输出到控制台, 还要写入日志文件
class Logger():def __init__(self, logname="info", loglevel=logging.DEBUG, loggername=None):'''指定保存日志的文件路径,日志级别,以及调用文件将日志存入到指定的文件中'''# 创建一个loggerself.logger = logging.getLogger(loggername)self.logger.setLevel(loglevel)# 创建一个handler,用于写入日志文件fh = logging.FileHandler(logname)fh.setLevel(loglevel)# 再创建一个handler,用于输出到控制台ch = logging.StreamHandler()ch.setLevel(loglevel)# 定义handler的输出格式# formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')formatter = logging.Formatter('[%(levelname)s]%(asctime)s %(filename)s:%(lineno)d: %(message)s')fh.setFormatter(formatter)ch.setFormatter(formatter)# 给logger添加handlerself.logger.addHandler(fh)self.logger.addHandler(ch)#测试日志,正式环境可删除self.logger.fatal("set logger") def getlog(self):self.logger.fatal("get logger")return self.logger

问题一:多文件调用共用logger,重复打印

调用方式:
a.py v1

#!/usr/bin/python
# -*- coding:utf-8 -*-import logging
from log import Loggerlogger = Logger().getlog()
logger.debug("this is a")

b.py v1

#!/usr/bin/python 
# -*- coding:utf-8 -*- 
import logging 
from log import Logger 
import a
logger = Logger().getlog() 
logger.debug("this is b")

此时执行b.py的结果如下:

$ python3 b.py
[CRITICAL]2021-01-20 10:51:17,966 log.py:44: set logger
[CRITICAL]2021-01-20 10:51:17,966 log.py:47: get logger
[DEBUG]2021-01-20 10:51:17,967 a.py:7: this is a
[CRITICAL]2021-01-20 10:51:17,968 log.py:44: set logger
[CRITICAL]2021-01-20 10:51:17,968 log.py:44: set logger
[CRITICAL]2021-01-20 10:51:17,968 log.py:47: get logger
[CRITICAL]2021-01-20 10:51:17,968 log.py:47: get logger
[DEBUG]2021-01-20 10:51:17,969 b.py:8: this is b
[DEBUG]2021-01-20 10:51:17,969 b.py:8: this is b

从结果可以看出来,存在logger共用,导致重复打印。

原因分析

调用方式logger = Logger().getlog(),即self.logger = logging.getLogger(logger)
logger参数并未传递,所以得到的self.loggerRootLogger
RootLogger是一个python程序内全局唯一的,所有Logger对象的祖先。

也就是说先打开的文件中对log的设置,后打开的文件都会受到影响,都会走一遍logger的继承关系。
b.py import a, 先执行a, 然后调用getLogger,得到RootLogger,打印一次,再执行一次在a.py中打开的RootLogger,再打印一次

解决方案

不同文件调用,使用不同的loggername
a.py v2

logger = Logger("a.log", logging.DEBUG, __name__).getlog() 
logger.debug("this is a")

b.py v2

logger = Logger("b.log", logging.DEBUG, __name__).getlog() 
logger.debug("this is b")

此时重新执行
命令行显示正常了

[CRITICAL]2021-01-20 11:02:22,763 log.py:44: set logger
[CRITICAL]2021-01-20 11:02:22,764 log.py:47: get logger
[DEBUG]2021-01-20 11:02:22,764 a.py:7: this is a
[CRITICAL]2021-01-20 11:02:22,765 log.py:44: set logger
[CRITICAL]2021-01-20 11:02:22,765 log.py:47: get logger
[DEBUG]2021-01-20 11:02:22,765 b.py:8: this is 

问题二:单文件重复调用logger,重复打印

a.py v2

logger = Logger("a.log", logging.DEBUG, __name__).getlog() 
logger.debug("this is a")
logger = Logger("a.log", logging.DEBUG, __name__).getlog() 
logger.debug("this is a 2")

打印结果:

[CRITICAL]2021-01-20 11:39:04,312 log.py:44: set logger
[CRITICAL]2021-01-20 11:39:04,312 log.py:47: get logger
[DEBUG]2021-01-20 11:39:04,312 a.py:7: this is a
[CRITICAL]2021-01-20 11:39:04,313 log.py:44: set logger
[CRITICAL]2021-01-20 11:39:04,313 log.py:44: set logger
[CRITICAL]2021-01-20 11:39:04,313 log.py:47: get logger
[CRITICAL]2021-01-20 11:39:04,313 log.py:47: get logger
[DEBUG]2021-01-20 11:39:04,313 a.py:10: this is a 2
[DEBUG]2021-01-20 11:39:04,313 a.py:10: this is a 2

此时例如执行logger = Logger("a.log", logging.DEBUG, __name__).getlog(),并且后续日志对象的第三个传参都相同的时候,
此后多次打印日志会出现日志信息条数线性增加
例如第一次打印一条,第二条打印相同的两条日志,第三次打印相同的三条日志…

原因解析

因为logger的name被固定,
所以当你第一次为logger对象添加FileHandler对象之后,
如果没有移除上一次的FileHandler对象,第二次logger对象就会再次获得相同的FileHandler对象,即拥有两个FileHandler对象,
最终造成打印两次,
同样,如果此时没有立即移除上一次的FileHandler对象,第三次logger对象就会再次获得相同的FileHandler对象,即拥有三个FileHandler象,最终打印3次…

解决方案

  1. 每次添加日志,创建与上次日志对象的loggername属性不同的logger对象
    • 调用会导致同时存在超多logger对象
    • 不推荐
  2. 每次logger输出之后,移除FileHandler对象
    • 重写输出接口,输出后增加removeHandler操作
    • 繁琐,复杂,不推荐
  3. 通过判断logger对象的handlers属性,或者hasHandlers函数,保持同一loggername对应的FileHander唯一
    • 只需要增加一行代码,if not logger.handlers:if not self.logger.hasHandlers()只有不存在Handler时才设置Handler
    • 简洁,推荐

第三种方案,改写log.py v1代码如下:

log.py v2

#encoding = utf-8
#### @ Description: 日志封装文件# @ Author: fatih# @ Date: 2020-12-30 10:48:00# @ FilePath: \mechineInfo\utils\log.py# @ LastEditors: fatih# @ LastEditTime: 2021-01-11 16:18:30
###
import logging
# 既把日志输出到控制台, 还要写入日志文件
class Logger():def __init__(self, logname="info", loglevel=logging.DEBUG, loggername=None):'''指定保存日志的文件路径,日志级别,以及调用文件将日志存入到指定的文件中'''# 创建一个loggerself.logger = logging.getLogger(loggername)self.logger.setLevel(loglevel)# 创建一个handler,用于写入日志文件fh = logging.FileHandler(logname)fh.setLevel(loglevel)if not self.logger.handlers:#或者使用如下语句判断#if not self.logger.hasHandlers():# 再创建一个handler,用于输出到控制台ch = logging.StreamHandler()ch.setLevel(loglevel)# 定义handler的输出格式# formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')formatter = logging.Formatter('[%(levelname)s]%(asctime)s %(filename)s:%(lineno)d: %(message)s')fh.setFormatter(formatter)ch.setFormatter(formatter)# 给logger添加handlerself.logger.addHandler(fh)self.logger.addHandler(ch)self.logger.fatal("add handler")self.logger.fatal("set logger")def getlog(self):self.logger.fatal("get logger")return self.logger

此时调用a.py v2
结果如下:

[CRITICAL]2021-01-20 11:55:08,427 log.py:44: add handler
[CRITICAL]2021-01-20 11:55:08,427 log.py:46: set logger
[CRITICAL]2021-01-20 11:55:08,427 log.py:49: get logger
[DEBUG]2021-01-20 11:55:08,427 a.py:7: this is a
[CRITICAL]2021-01-20 11:55:08,428 log.py:46: set logger
[CRITICAL]2021-01-20 11:55:08,428 log.py:49: get logger
[DEBUG]2021-01-20 11:55:08,429 a.py:10: this is a 2

至此,问题解决

参考:
python的logging模块浅析

这篇关于Python | 解决方案 | 多个文件共用logger,重复打印问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1040000

相关文章

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

poj2406(连续重复子串)

题意:判断串s是不是str^n,求str的最大长度。 解题思路:kmp可解,后缀数组的倍增算法超时。next[i]表示在第i位匹配失败后,自动跳转到next[i],所以1到next[n]这个串 等于 n-next[n]+1到n这个串。 代码如下; #include<iostream>#include<algorithm>#include<stdio.h>#include<math.

poj3261(可重复k次的最长子串)

题意:可重复k次的最长子串 解题思路:求所有区间[x,x+k-1]中的最小值的最大值。求sa时间复杂度Nlog(N),求最值时间复杂度N*N,但实际复杂度很低。题目数据也比较水,不然估计过不了。 代码入下: #include<iostream>#include<algorithm>#include<stdio.h>#include<math.h>#include<cstring

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时,您应该注意以下几个关键点: 平衡精度 平衡精度是衡量平衡机性能的核心指标,直接影响到不平衡量的检测与校准的准确性,从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声,提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮,适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库,瞬间耗尽数据库资源,导致数据库无法使用。 解决方案: 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内,大量缓存数据同时失效,导致所有请求直接涌向数据库,瞬间增加数据库的负载压力,可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学