关于BN层在颜色恒常性任务中的思考

2024-06-05 08:18
文章标签 思考 任务 颜色 bn 恒常

本文主要是介绍关于BN层在颜色恒常性任务中的思考,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

关于BN层在颜色恒常性任务中的思考

纵观已有的颜色恒常性算法,从15年AlexNet[1],到后来的FC4[2],其网络中都没有出现BN层,以及2020年的两篇CVPR(华为,港理工)也同样如此。看过其他领域的(尤其是目标检测、分类)网络,大多都会引入Batch Normalization,其作用也在ResNet论文中进行了总结,好处多多,不再赘述(面试被问透了的东西)。因此在思考,为什么颜色恒常性领域弃用了该操作。经过一番实验,个人理解如下,仅供参考,欢迎大佬指正。

[1] Bianco S , Cusano C , Schettini R . Color Constancy Using CNNs[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2015.
[2] Hu Y , Wang B , Lin S . FC^4: Fully Convolutional Color Constancy with Confidence-Weighted Pooling[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017.

下图是训练过程中训练集的AE变化和验证集的AE变化情况,验证集AE变化非常剧烈,震荡严重,后期过拟合的AE值也非常大。
训练集AE变化趋势
验证集AE变化趋势

1. 网络深度问题

颜色恒常性领域所用的模型大都比较简单,其深度往往没有ResNet那样的深度,因此,从必要性角度来说,不需要使用BN层来加速训练,网络也一般不会出现梯度爆炸(消失)问题。

2. 特别的对于颜色恒常性任务本身不适用

最近将VGG第一层+BoTNet Block+1x1卷积+GAP进行了模型搭建,其中保留了原BoTNet设计时的BN层,训练出现了以下奇怪的现象:
训练集的loss和AE(Angular Error)随着训练的进行都在下降,而验证集的AE几乎没有什么变化。并且,验证集的AE基本与初始化相关,不同的初始化导致验证集AE始终保持在某一数值范围内。

原本以为是过拟合,遂减少BoTNet Block数量,从12->3->1,发现该现象仍然出现。

从原理上分析,所设计的模型的任务是判断输入图像已被白平衡的概率,因此使用BN层,将导致图像特征在整体上获得归一化,该归一化过程破坏了本任务最重要的特征,即,颜色恒常性问题的最大有效特征体现在特征在特征空间上的整体偏移情况。因此,BN不适用于颜色恒常性任务。

移除BN层,该现象得到缓解,基本上验证集随测试集趋势变化,也进一步说明了BN层不适用于该任务。
训练集AE
验证集AE

这篇关于关于BN层在颜色恒常性任务中的思考的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1032553

相关文章

python+opencv处理颜色之将目标颜色转换实例代码

《python+opencv处理颜色之将目标颜色转换实例代码》OpenCV是一个的跨平台计算机视觉库,可以运行在Linux、Windows和MacOS操作系统上,:本文主要介绍python+ope... 目录下面是代码+ 效果 + 解释转HSV: 关于颜色总是要转HSV的掩膜再标注总结 目标:将红色的部分滤

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况?这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次?3.1 未启用

如何使用Python实现一个简单的window任务管理器

《如何使用Python实现一个简单的window任务管理器》这篇文章主要为大家详细介绍了如何使用Python实现一个简单的window任务管理器,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起... 任务管理器效果图完整代码import tkinter as tkfrom tkinter i

Spring Boot 集成 Quartz 使用Cron 表达式实现定时任务

《SpringBoot集成Quartz使用Cron表达式实现定时任务》本文介绍了如何在SpringBoot项目中集成Quartz并使用Cron表达式进行任务调度,通过添加Quartz依赖、创... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启

Java使用多线程处理未知任务数的方案介绍

《Java使用多线程处理未知任务数的方案介绍》这篇文章主要为大家详细介绍了Java如何使用多线程实现处理未知任务数,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 知道任务个数,你可以定义好线程数规则,生成线程数去跑代码说明:1.虚拟线程池:使用 Executors.newVir

Spring Boot中定时任务Cron表达式的终极指南最佳实践记录

《SpringBoot中定时任务Cron表达式的终极指南最佳实践记录》本文详细介绍了SpringBoot中定时任务的实现方法,特别是Cron表达式的使用技巧和高级用法,从基础语法到复杂场景,从快速启... 目录一、Cron表达式基础1.1 Cron表达式结构1.2 核心语法规则二、Spring Boot中定

Spring Boot 整合 ShedLock 处理定时任务重复执行的问题小结

《SpringBoot整合ShedLock处理定时任务重复执行的问题小结》ShedLock是解决分布式系统中定时任务重复执行问题的Java库,通过在数据库中加锁,确保只有一个节点在指定时间执行... 目录前言什么是 ShedLock?ShedLock 的工作原理:定时任务重复执行China编程的问题使用 Shed

关于rpc长连接与短连接的思考记录

《关于rpc长连接与短连接的思考记录》文章总结了RPC项目中长连接和短连接的处理方式,包括RPC和HTTP的长连接与短连接的区别、TCP的保活机制、客户端与服务器的连接模式及其利弊分析,文章强调了在实... 目录rpc项目中的长连接与短连接的思考什么是rpc项目中的长连接和短连接与tcp和http的长连接短

Python Invoke自动化任务库的使用

《PythonInvoke自动化任务库的使用》Invoke是一个强大的Python库,用于编写自动化脚本,本文就来介绍一下PythonInvoke自动化任务库的使用,具有一定的参考价值,感兴趣的可以... 目录什么是 Invoke?如何安装 Invoke?Invoke 基础1. 运行测试2. 构建文档3.

解决Cron定时任务中Pytest脚本无法发送邮件的问题

《解决Cron定时任务中Pytest脚本无法发送邮件的问题》文章探讨解决在Cron定时任务中运行Pytest脚本时邮件发送失败的问题,先优化环境变量,再检查Pytest邮件配置,接着配置文件确保SMT... 目录引言1. 环境变量优化:确保Cron任务可以正确执行解决方案:1.1. 创建一个脚本1.2. 修