【Python深度学习】——使用Logging记录模型训练过程

2024-06-20 15:12

本文主要是介绍【Python深度学习】——使用Logging记录模型训练过程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【Python深度学习】——使用Logging记录模型训练过程

  • 1. 导入logging库, getLogger()创建日志记录器
  • 2. logger.setLevel()设置log级别
  • 3. FileHandler()设置日志文件路径
  • 4. StreamHandler()将日志输出到控制台
  • 5. 其他性质
  • 6. 代码示例

1. 导入logging库, getLogger()创建日志记录器

import logging
logger = logging.getLogger()

在getLogger()函数中,可以设置日志记录器的名称, 例如:

logger = logging.getLogger(__name__)
## 或者
logger = logging.getLogger('my_logger')

2. logger.setLevel()设置log级别

logger.setLevel(level=logging.DEBUG)
级别示例级别数值
DEBUGlogging.debug10
INFOlogging.info20
WARNINGlogging.warning30
ERRORlogging.error40
CRITICALlogging.critical50

3. FileHandler()设置日志文件路径

file_handler = logging.FileHandler('my_log.log')

4. StreamHandler()将日志输出到控制台

stream_handler = logging.StreamHandler()
logger.addHandler(stream_handler)

5. 其他性质

  • propagate: 是否将日志消息传递给上级日志记录器
logger.propagate = False

6. 代码示例

在Geo Transformer代码中, 对logging库中要使用的一些功能, 封装成了一个Logger类, 详情如下:

import loggingimport coloredlogsdef create_logger(log_file=None):logger = logging.getLogger()logger.handlers.clear()logger.setLevel(level=logging.DEBUG)logger.propagate = Falseformat_str = '[%(asctime)s] [%(levelname).4s] %(message)s'stream_handler = logging.StreamHandler()colored_formatter = coloredlogs.ColoredFormatter(format_str)stream_handler.setFormatter(colored_formatter)logger.addHandler(stream_handler)if log_file is not None:file_handler = logging.FileHandler(log_file)formatter = logging.Formatter(format_str, datefmt='%Y-%m-%d %H:%M:%S')file_handler.setFormatter(formatter)logger.addHandler(file_handler)return loggerclass Logger:def __init__(self, log_file=None, local_rank=-1):if local_rank == 0 or local_rank == -1:self.logger = create_logger(log_file=log_file)else:self.logger = Nonedef debug(self, message):if self.logger is not None:self.logger.debug(message)def info(self, message):if self.logger is not None:self.logger.info(message)def warning(self, message):if self.logger is not None:self.logger.warning(message)def error(self, message):if self.logger is not None:self.logger.error(message)def critical(self, message):if self.logger is not None:self.logger.critical(message)

这篇关于【Python深度学习】——使用Logging记录模型训练过程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1078485

相关文章

Python如何实现PDF隐私信息检测

《Python如何实现PDF隐私信息检测》随着越来越多的个人信息以电子形式存储和传输,确保这些信息的安全至关重要,本文将介绍如何使用Python检测PDF文件中的隐私信息,需要的可以参考下... 目录项目背景技术栈代码解析功能说明运行结php果在当今,数据隐私保护变得尤为重要。随着越来越多的个人信息以电子形

使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

《使用sql-research-assistant进行SQL数据库研究的实战指南(代码实现演示)》本文介绍了sql-research-assistant工具,该工具基于LangChain框架,集... 目录技术背景介绍核心原理解析代码实现演示安装和配置项目集成LangSmith 配置(可选)启动服务应用场景

使用Python快速实现链接转word文档

《使用Python快速实现链接转word文档》这篇文章主要为大家详细介绍了如何使用Python快速实现链接转word文档功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 演示代码展示from newspaper import Articlefrom docx import

oracle DBMS_SQL.PARSE的使用方法和示例

《oracleDBMS_SQL.PARSE的使用方法和示例》DBMS_SQL是Oracle数据库中的一个强大包,用于动态构建和执行SQL语句,DBMS_SQL.PARSE过程解析SQL语句或PL/S... 目录语法示例注意事项DBMS_SQL 是 oracle 数据库中的一个强大包,它允许动态地构建和执行

Python Jupyter Notebook导包报错问题及解决

《PythonJupyterNotebook导包报错问题及解决》在conda环境中安装包后,JupyterNotebook导入时出现ImportError,可能是由于包版本不对应或版本太高,解决方... 目录问题解决方法重新安装Jupyter NoteBook 更改Kernel总结问题在conda上安装了

Python如何计算两个不同类型列表的相似度

《Python如何计算两个不同类型列表的相似度》在编程中,经常需要比较两个列表的相似度,尤其是当这两个列表包含不同类型的元素时,下面小编就来讲讲如何使用Python计算两个不同类型列表的相似度吧... 目录摘要引言数字类型相似度欧几里得距离曼哈顿距离字符串类型相似度Levenshtein距离Jaccard相

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

redis群集简单部署过程

《redis群集简单部署过程》文章介绍了Redis,一个高性能的键值存储系统,其支持多种数据结构和命令,它还讨论了Redis的服务器端架构、数据存储和获取、协议和命令、高可用性方案、缓存机制以及监控和... 目录Redis介绍1. 基本概念2. 服务器端3. 存储和获取数据4. 协议和命令5. 高可用性6.

SpringBoot中使用 ThreadLocal 进行多线程上下文管理及注意事项小结

《SpringBoot中使用ThreadLocal进行多线程上下文管理及注意事项小结》本文详细介绍了ThreadLocal的原理、使用场景和示例代码,并在SpringBoot中使用ThreadLo... 目录前言技术积累1.什么是 ThreadLocal2. ThreadLocal 的原理2.1 线程隔离2

Python安装时常见报错以及解决方案

《Python安装时常见报错以及解决方案》:本文主要介绍在安装Python、配置环境变量、使用pip以及运行Python脚本时常见的错误及其解决方案,文中介绍的非常详细,需要的朋友可以参考下... 目录一、安装 python 时常见报错及解决方案(一)安装包下载失败(二)权限不足二、配置环境变量时常见报错及