YOLOV8逐步分解(6)_模型训练初始设置之image size检测batch预设及dataloder初始化

本文主要是介绍YOLOV8逐步分解(6)_模型训练初始设置之image size检测batch预设及dataloder初始化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

yolov8逐步分解(1)--默认参数&超参配置文件加载

yolov8逐步分解(2)_DetectionTrainer类初始化过程

yolov8逐步分解(3)_trainer训练之模型加载

YOLOV8逐步分解(4)_模型的构建过程

YOLOV8逐步分解(5)_模型训练初始设置之混合精度训练AMP

        接逐步分解(5),继续模型训练初始设置的讲解,本章将讲解image size检测、batch预设及dataloder初始代码。

1. image size代码

        # Check imgszgs = max(int(self.model.stride.max() if hasattr(self.model, 'stride') else 32), 32)         # grid size (max stride)self.args.imgsz = check_imgsz(self.args.imgsz, stride=gs, floor=gs, max_dim=1)

这段代码是用来处理输入图像的尺寸(imgsz)。它的作用:

1.1 gs = max(int(self.model.stride.max() if hasattr(self.model, 'stride') else 32), 32):

        计算出模型的最大 stride 值。

        如果模型有 stride 属性,就取它的最大值;否则默认为 32。

        这个 gs 变量代表了模型的网格大小(grid size),它是用于确定输入图像尺寸的一个重要参数。

1.2 self.args.imgsz = check_imgsz(self.args.imgsz, stride=gs, floor=gs, max_dim=1):

        代码调用了 check_imgsz() 函数,用于检查和设置输入图像的尺寸。

        self.args.imgsz 是用户传入的期望输入图像尺寸。

        check_imgsz() 函数会根据模型的 stride 值和其他参数,对 self.args.imgsz 进行调整和验证。

        具体来说:

                stride=gs: 使用计算出的网格大小作为 stride 参数。

                floor=gs: 确保输入图像尺寸是网格大小的倍数。

                max_dim=1: 限制输入图像的最大维度为 1。

        这段代码的目的是确保输入图像的尺寸与模型的特性(如 stride)匹配,以确保模型能够正确地处理输入数据。这有助于提高模型的性能和稳定性。

2. batch size设置

        # Batch sizeif self.batch_size == -1: #表示批量大小需要自动估计if RANK == -1:  # single-GPU only, estimate best batch sizeself.args.batch = self.batch_size = check_train_batch_size(self.model, self.args.imgsz, self.amp)#估计最佳批量大小else:SyntaxError('batch=-1 to use AutoBatch is only available in Single-GPU training. ''Please pass a valid batch size value for Multi-GPU DDP training, i.e. batch=16')

处理训练时的批量大小(batch size):

2.1 if self.batch_size == -1::

        这个条件检查是否需要自动估计批量大小。

        如果 self.batch_size 为 -1,表示需要自动估计最佳批量大小。

2.2 if RANK == -1:

        这个条件检查当前是否处于单 GPU 训练模式。

        如果是单 GPU 训练,才能使用自动估计批量大小的功能。

2.3 self.args.batch = self.batch_size = check_train_batch_size(self.model, self.args.imgsz, self.amp):

        在单 GPU 训练模式下,代码调用 check_train_batch_size() 函数来估计最佳批量大小。

        这个函数会根据模型、输入图像尺寸和是否启用混合精度训练,来计算出最佳的批量大小。

        计算结果会赋值给 self.args.batch 和 self.batch_size。

2.4 如果不是单 GPU 训练模式(即分布式训练),就会抛出一个 SyntaxError 异常。

        异常信息提示用户,在分布式训练时不能使用自动批量大小估计功能,需要手动设置一个有效的批量大小。

        这段代码的目的是尽可能自动地估计出最佳的批量大小,以提高训练的效率和性能。但这个功能只在单 GPU 训练模式下可用,在分布式训练中需要手动设置批量大小。

3. dataloader 初始化

        # Dataloadersbatch_size = self.batch_size // max(world_size, 1)self.train_loader = self.get_dataloader(self.trainset, batch_size=batch_size, rank=RANK, mode='train')#获取训练集if RANK in (-1, 0):self.test_loader = self.get_dataloader(self.testset, batch_size=batch_size * 2, rank=-1, mode='val') #获取测试集self.validator = self.get_validator() #创建验证器(validator),用于评估模型在验证数据集上的性能。metric_keys = self.validator.metrics.keys + self.label_loss_items(prefix='val')self.metrics = dict(zip(metric_keys, [0] * len(metric_keys)))  # TODO: init metrics for plot_results()?self.ema = ModelEMA(self.model)if self.args.plots and not self.args.v5loader: #如果 self.args.plots 为真且 self.args.v5loader 为假self.plot_training_labels() #绘制训练标签的图表

设置和获取训练集和测试集的数据加载器(dataloader):

3.1 batch_size = self.batch_size // max(world_size, 1):

        这一行代码计算出每个进程(process)使用的批量大小。

        它将 self.batch_size 除以 world_size (分布式训练时的进程数)或 1(单机训练时)。

        这样做是为了确保在分布式训练时,每个进程使用的批量大小是合理的。

3.2 self.train_loader = self.get_dataloader(self.trainset, batch_size=batch_size, rank=RANK, mode='train'):

        这一行代码通过调用 self.get_dataloader() 函数,获取训练数据集的数据加载器。

        self.trainset 是训练数据集,batch_size 是计算出的批量大小,rank 是当前进程的序号(在分布式训练时使用)。

        mode='train' 表示这是用于训练的数据加载器。

3.3 if RANK in (-1, 0)::

        这个条件检查当前是否处于单机训练模式或主进程(rank 为 0)。

        只有在这些情况下,才会执行以下操作。

3.4 self.test_loader = self.get_dataloader(self.testset, batch_size=batch_size * 2, rank=-1, mode='val'):

        这一行代码获取验证数据集的数据加载器。

        self.testset 是验证数据集,批量大小是训练批量大小的两倍,rank 设置为 -1 表示不参与分布式训练。

        mode='val' 表示这是用于验证的数据加载器。

3.5 self.validator = self.get_validator():

        这一行代码创建了一个验证器(validator)对象,用于评估模型在验证数据集上的性能。

3.6 metric_keys = self.validator.metrics.keys + self.label_loss_items(prefix='val'):

        这一行代码获取验证阶段需要的所有度量指标的键(key)。

3.7 self.validator.metrics.keys 是验证器定义的度量指标,self.label_loss_items(prefix='val') 是验证阶段的标签损失项。

3.8 self.metrics = dict(zip(metric_keys, [0] * len(metric_keys))):

        这一行代码初始化了所有度量指标的值为 0。

3.9 self.ema = ModelEMA(self.model):

        这一行代码创建了一个指数移动平均(EMA)模型,用于在训练过程中保存模型的滚动平均值。

3.10 if self.args.plots and not self.args.v5loader: self.plot_training_labels():

        如果需要绘制训练标签的图表,并且不使用 v5 格式的数据加载器,就会调用 self.plot_training_labels() 函数。

        这段代码的主要目的是设置训练集和验证集的数据加载器,创建验证器,初始化度量指标,以及设置 EMA 模型等。这些都是训练模型时的常见操作。

这篇关于YOLOV8逐步分解(6)_模型训练初始设置之image size检测batch预设及dataloder初始化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1008957

相关文章

linux hostname设置全过程

《linuxhostname设置全过程》:本文主要介绍linuxhostname设置全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录查询hostname设置步骤其它相关点hostid/etc/hostsEDChina编程A工具license破解注意事项总结以RHE

Python设置Cookie永不超时的详细指南

《Python设置Cookie永不超时的详细指南》Cookie是一种存储在用户浏览器中的小型数据片段,用于记录用户的登录状态、偏好设置等信息,下面小编就来和大家详细讲讲Python如何设置Cookie... 目录一、Cookie的作用与重要性二、Cookie过期的原因三、实现Cookie永不超时的方法(一)

C++ 检测文件大小和文件传输的方法示例详解

《C++检测文件大小和文件传输的方法示例详解》文章介绍了在C/C++中获取文件大小的三种方法,推荐使用stat()函数,并详细说明了如何设计一次性发送压缩包的结构体及传输流程,包含CRC校验和自动解... 目录检测文件的大小✅ 方法一:使用 stat() 函数(推荐)✅ 用法示例:✅ 方法二:使用 fsee

Qt 设置软件版本信息的实现

《Qt设置软件版本信息的实现》本文介绍了Qt项目中设置版本信息的三种常用方法,包括.pro文件和version.rc配置、CMakeLists.txt与version.h.in结合,具有一定的参考... 目录在运行程序期间设置版本信息可以参考VS在 QT 中设置软件版本信息的几种方法方法一:通过 .pro

PostgreSQL 默认隔离级别的设置

《PostgreSQL默认隔离级别的设置》PostgreSQL的默认事务隔离级别是读已提交,这是其事务处理系统的基础行为模式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价... 目录一 默认隔离级别概述1.1 默认设置1.2 各版本一致性二 读已提交的特性2.1 行为特征2.2

一文详解MySQL如何设置自动备份任务

《一文详解MySQL如何设置自动备份任务》设置自动备份任务可以确保你的数据库定期备份,防止数据丢失,下面我们就来详细介绍一下如何使用Bash脚本和Cron任务在Linux系统上设置MySQL数据库的自... 目录1. 编写备份脚本1.1 创建并编辑备份脚本1.2 给予脚本执行权限2. 设置 Cron 任务2

C++中RAII资源获取即初始化

《C++中RAII资源获取即初始化》RAII通过构造/析构自动管理资源生命周期,确保安全释放,本文就来介绍一下C++中的RAII技术及其应用,具有一定的参考价值,感兴趣的可以了解一下... 目录一、核心原理与机制二、标准库中的RAII实现三、自定义RAII类设计原则四、常见应用场景1. 内存管理2. 文件操

OpenCV实现实时颜色检测的示例

《OpenCV实现实时颜色检测的示例》本文主要介绍了OpenCV实现实时颜色检测的示例,通过HSV色彩空间转换和色调范围判断实现红黄绿蓝颜色检测,包含视频捕捉、区域标记、颜色分析等功能,具有一定的参考... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间

mtu设置多少网速最快? 路由器MTU设置最佳网速的技巧

《mtu设置多少网速最快?路由器MTU设置最佳网速的技巧》mtu设置多少网速最快?想要通过设置路由器mtu获得最佳网速,该怎么设置呢?下面我们就来看看路由器MTU设置最佳网速的技巧... 答:1500 MTU值指的是在网络传输中数据包的最大值,合理的设置MTU 值可以让网络更快!mtu设置可以优化不同的网

MySQL 设置AUTO_INCREMENT 无效的问题解决

《MySQL设置AUTO_INCREMENT无效的问题解决》本文主要介绍了MySQL设置AUTO_INCREMENT无效的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录快速设置mysql的auto_increment参数一、修改 AUTO_INCREMENT 的值。