关于BN层在颜色恒常性任务中的思考

2024-06-05 08:18
文章标签 思考 任务 颜色 bn 恒常

本文主要是介绍关于BN层在颜色恒常性任务中的思考,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

关于BN层在颜色恒常性任务中的思考

纵观已有的颜色恒常性算法,从15年AlexNet[1],到后来的FC4[2],其网络中都没有出现BN层,以及2020年的两篇CVPR(华为,港理工)也同样如此。看过其他领域的(尤其是目标检测、分类)网络,大多都会引入Batch Normalization,其作用也在ResNet论文中进行了总结,好处多多,不再赘述(面试被问透了的东西)。因此在思考,为什么颜色恒常性领域弃用了该操作。经过一番实验,个人理解如下,仅供参考,欢迎大佬指正。

[1] Bianco S , Cusano C , Schettini R . Color Constancy Using CNNs[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2015.
[2] Hu Y , Wang B , Lin S . FC^4: Fully Convolutional Color Constancy with Confidence-Weighted Pooling[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017.

下图是训练过程中训练集的AE变化和验证集的AE变化情况,验证集AE变化非常剧烈,震荡严重,后期过拟合的AE值也非常大。
训练集AE变化趋势
验证集AE变化趋势

1. 网络深度问题

颜色恒常性领域所用的模型大都比较简单,其深度往往没有ResNet那样的深度,因此,从必要性角度来说,不需要使用BN层来加速训练,网络也一般不会出现梯度爆炸(消失)问题。

2. 特别的对于颜色恒常性任务本身不适用

最近将VGG第一层+BoTNet Block+1x1卷积+GAP进行了模型搭建,其中保留了原BoTNet设计时的BN层,训练出现了以下奇怪的现象:
训练集的loss和AE(Angular Error)随着训练的进行都在下降,而验证集的AE几乎没有什么变化。并且,验证集的AE基本与初始化相关,不同的初始化导致验证集AE始终保持在某一数值范围内。

原本以为是过拟合,遂减少BoTNet Block数量,从12->3->1,发现该现象仍然出现。

从原理上分析,所设计的模型的任务是判断输入图像已被白平衡的概率,因此使用BN层,将导致图像特征在整体上获得归一化,该归一化过程破坏了本任务最重要的特征,即,颜色恒常性问题的最大有效特征体现在特征在特征空间上的整体偏移情况。因此,BN不适用于颜色恒常性任务。

移除BN层,该现象得到缓解,基本上验证集随测试集趋势变化,也进一步说明了BN层不适用于该任务。
训练集AE
验证集AE

这篇关于关于BN层在颜色恒常性任务中的思考的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1032553

相关文章

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin

Linux之计划任务和调度命令at/cron详解

《Linux之计划任务和调度命令at/cron详解》:本文主要介绍Linux之计划任务和调度命令at/cron的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux计划任务和调度命令at/cron一、计划任务二、命令{at}介绍三、命令语法及功能 :at

SpringQuartz定时任务核心组件JobDetail与Trigger配置

《SpringQuartz定时任务核心组件JobDetail与Trigger配置》Spring框架与Quartz调度器的集成提供了强大而灵活的定时任务解决方案,本文主要介绍了SpringQuartz定... 目录引言一、Spring Quartz基础架构1.1 核心组件概述1.2 Spring集成优势二、J

Redis实现延迟任务的三种方法详解

《Redis实现延迟任务的三种方法详解》延迟任务(DelayedTask)是指在未来的某个时间点,执行相应的任务,本文为大家整理了三种常见的实现方法,感兴趣的小伙伴可以参考一下... 目录1.前言2.Redis如何实现延迟任务3.代码实现3.1. 过期键通知事件实现3.2. 使用ZSet实现延迟任务3.3

Linux中的计划任务(crontab)使用方式

《Linux中的计划任务(crontab)使用方式》:本文主要介绍Linux中的计划任务(crontab)使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、前言1、linux的起源与发展2、什么是计划任务(crontab)二、crontab基础1、cro

python+opencv处理颜色之将目标颜色转换实例代码

《python+opencv处理颜色之将目标颜色转换实例代码》OpenCV是一个的跨平台计算机视觉库,可以运行在Linux、Windows和MacOS操作系统上,:本文主要介绍python+ope... 目录下面是代码+ 效果 + 解释转HSV: 关于颜色总是要转HSV的掩膜再标注总结 目标:将红色的部分滤

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况?这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次?3.1 未启用

如何使用Python实现一个简单的window任务管理器

《如何使用Python实现一个简单的window任务管理器》这篇文章主要为大家详细介绍了如何使用Python实现一个简单的window任务管理器,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起... 任务管理器效果图完整代码import tkinter as tkfrom tkinter i

Spring Boot 集成 Quartz 使用Cron 表达式实现定时任务

《SpringBoot集成Quartz使用Cron表达式实现定时任务》本文介绍了如何在SpringBoot项目中集成Quartz并使用Cron表达式进行任务调度,通过添加Quartz依赖、创... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启

Java使用多线程处理未知任务数的方案介绍

《Java使用多线程处理未知任务数的方案介绍》这篇文章主要为大家详细介绍了Java如何使用多线程实现处理未知任务数,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 知道任务个数,你可以定义好线程数规则,生成线程数去跑代码说明:1.虚拟线程池:使用 Executors.newVir