YOLOv9改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题

本文主要是介绍YOLOv9改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、本文介绍

本文记录的是改进YOLOv9的损失函数,将其替换成Slide Loss,并详细说明了优化原因,注意事项等。Slide Loss函数可以有效地解决样本不平衡问题,为困难样本赋予更高的权重,使模型在训练过程中更加关注困难样本。若是在自己的数据集中发现容易样本的数量非常大,而困难样本相对稀疏,可尝试使用Slide Loss来提高模型在处理复杂样本时的性能。

文章目录

  • 一、本文介绍
  • 二、Slide Loss原理
    • 2.1 IoU含义
    • 2.2 原理
    • 2.2 优势
  • 三、Slide Loss的实现代码
  • 四、添加步骤
    • 4.1 修改utils/loss_tal_dual.py
    • 4.2 Slide Loss的调用


二、Slide Loss原理

2.1 IoU含义

IoU(P, G) = area(P∩G) / area(G),其中P是预测框,G是真实框(ground truth)。IoU的值在[0, 1]之间。

IoU是预测框与真实框的交集面积与并集面积之比。它用于衡量预测框与真实框的重合程度。

2.2 原理

  1. 样本分类依据
    • Slide Loss函数基于预测框和真实框的IoU大小来区分容易样本和困难样本。
    • 为了减少超参数,将所有边界框的IoU值的平均值作为阈值µ,小于µ的被视为负样本,大于µ的为正样本。
  2. 强调边界样本
    • 但处于边界附近的样本由于分类不明确,往往会遭受较大损失。为了解决这个问题,希望模型能够学习优化这些样本,并更充分地利用这些样本训练网络。
    • 首先将样本通过参数µ分为正样本和负样本,然后通过一个加权函数Slide来强调处于边界的样本。
    • Slide加权函数表达式为:
      f ( x ) = { 1 x ≤ μ − 0.1 e 1 − μ μ < x < μ − 0.1 e 1 − x x ≥ u f(x)= \begin{cases} 1&x\leq\mu - 0.1\\ e^{1-\mu}&\mu < x <\mu - 0.1\\ e^{1 - x}&x\geq u \end{cases} f(x)= 1e1μe1xxμ0.1μ<x<μ0.1xu

在这里插入图片描述

2.2 优势

  1. 解决样本不平衡问题
    • 在大多数情况下,容易样本的数量非常大,而困难样本相对稀疏,Slide Loss函数可以有效地解决样本不平衡问题,使模型在训练过程中更加关注困难样本。
  2. 自适应学习阈值
    • 通过自动计算所有边界框的IoU值的平均值作为阈值µ,减少了人为设置超参数的难度,提高了模型的适应性。
  3. 提高模型性能
    • 根据论文实验结果,Slide函数在中等难度和困难子集上提高了模型的性能,使模型能够更好地学习困难样本的特征,提高了模型的泛化能力。

论文:https://arxiv.org/pdf/2208.02019
源码:https://github.com/Krasjet-Yu/YOLO-FaceV2/blob/d9c8f24d5dba392ef9d6b350a7c50b850051b32b/utils/loss.py#L16


三、Slide Loss的实现代码

Slide Loss的实现代码如下:

import math
class SlideLoss(nn.Module):def __init__(self, loss_fcn):super(SlideLoss, self).__init__()self.loss_fcn = loss_fcnself.reduction = loss_fcn.reductionself.loss_fcn.reduction = 'none'  # required to apply SL to each elementdef forward(self, pred, true, auto_iou=0.5):loss = self.loss_fcn(pred, true)if auto_iou < 0.2:auto_iou = 0.2b1 = true <= auto_iou - 0.1a1 = 1.0b2 = (true > (auto_iou - 0.1)) & (true < auto_iou)a2 = math.exp(1.0 - auto_iou)b3 = true >= auto_ioua3 = torch.exp(-(true - 1.0))modulating_weight = a1 * b1 + a2 * b2 + a3 * b3loss *= modulating_weightif self.reduction == 'mean':return loss.mean()elif self.reduction == 'sum':return loss.sum()else:  # 'none'return loss

四、添加步骤

4.1 修改utils/loss_tal_dual.py

此处需要修改的文件是utils/loss_tal_dual.py

loss_tal_dual.py中定义了模型的损失函数和计算方法,我们想要加入新的损失函数就只需要将代码放到这个文件内即可。

Slide Loss添加后如下:

在这里插入图片描述

4.2 Slide Loss的调用

loss_tal_dual.py149行出添加如下代码,使模型调用此Slide Loss函数

BCEcls = SlideLoss(BCEcls)

在这里插入图片描述
此时再次训练模型便会使用Slide Loss计算模型的损失函数。

这篇关于YOLOv9改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1104283

相关文章

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

hdu2289(简单二分)

虽说是简单二分,但是我还是wa死了  题意:已知圆台的体积,求高度 首先要知道圆台体积怎么求:设上下底的半径分别为r1,r2,高为h,V = PI*(r1*r1+r1*r2+r2*r2)*h/3 然后以h进行二分 代码如下: #include<iostream>#include<algorithm>#include<cstring>#include<stack>#includ

hdu1171(母函数或多重背包)

题意:把物品分成两份,使得价值最接近 可以用背包,或者是母函数来解,母函数(1 + x^v+x^2v+.....+x^num*v)(1 + x^v+x^2v+.....+x^num*v)(1 + x^v+x^2v+.....+x^num*v) 其中指数为价值,每一项的数目为(该物品数+1)个 代码如下: #include<iostream>#include<algorithm>

在JS中的设计模式的单例模式、策略模式、代理模式、原型模式浅讲

1. 单例模式(Singleton Pattern) 确保一个类只有一个实例,并提供一个全局访问点。 示例代码: class Singleton {constructor() {if (Singleton.instance) {return Singleton.instance;}Singleton.instance = this;this.data = [];}addData(value)

usaco 1.3 Prime Cryptarithm(简单哈希表暴搜剪枝)

思路: 1. 用一个 hash[ ] 数组存放输入的数字,令 hash[ tmp ]=1 。 2. 一个自定义函数 check( ) ,检查各位是否为输入的数字。 3. 暴搜。第一行数从 100到999,第二行数从 10到99。 4. 剪枝。 代码: /*ID: who jayLANG: C++TASK: crypt1*/#include<stdio.h>bool h

如何解决线上平台抽佣高 线下门店客流少的痛点!

目前,许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流,但其费用昂贵。鉴于此,众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台,但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下,商家之间的合作网络逐渐成为一种有效的解决方案,通过资源和客户基础的共享,实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例,该平台融合了环保消费积分系统,在短

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时,您应该注意以下几个关键点: 平衡精度 平衡精度是衡量平衡机性能的核心指标,直接影响到不平衡量的检测与校准的准确性,从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声,提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮,适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监

uva 10387 Billiard(简单几何)

题意是一个球从矩形的中点出发,告诉你小球与矩形两条边的碰撞次数与小球回到原点的时间,求小球出发时的角度和小球的速度。 简单的几何问题,小球每与竖边碰撞一次,向右扩展一个相同的矩形;每与横边碰撞一次,向上扩展一个相同的矩形。 可以发现,扩展矩形的路径和在当前矩形中的每一段路径相同,当小球回到出发点时,一条直线的路径刚好经过最后一个扩展矩形的中心点。 最后扩展的路径和横边竖边恰好组成一个直