FRNet:Feature Reconstruction Network for RGB-D Indoor Scene Parsing实验补充

本文主要是介绍FRNet:Feature Reconstruction Network for RGB-D Indoor Scene Parsing实验补充,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

FRNet做了大量的消融实验,这里仔细来分析一下。
1:ResNet backbone:
作者消融实验使用了ResNet34作为backbone来提取特征,将最后一层的输出简单相加起来,然后通过不断的上采样获得最终的输出。并且只在最后一层进行监督。最终在NYU取得了45.9%的成绩。我自己也跑过,说实话有些偏高。
在这里插入图片描述
在这里插入图片描述
可视化:
在这里插入图片描述
作者提到FRNet为什么可以获得比较好的结果其原因是因为考虑到了跨模态的信息,多层信息,上下文信息,多尺度监督。
接着作者对FCE的四个变量进行验证:
WA表示移除掉所有的重建操作,即CEM,而多层特征表示直接又相加替换掉。效果可以达到49.6。相比基础模型多了个信息的回流和融合上采样。等我下去试试这种top-down的结构的表现再回来。
在这里插入图片描述
在这里插入图片描述
可视化:
在这里插入图片描述
我们通过图片可以看到,如果不对RGB和Depth进行重建和融合,图片的边缘会比较模糊,且有大面积的涂抹感。
OH操作表示重建操作只在第四层有,且反向不再执行。
在这里插入图片描述
结果:相比于WA提升很明显有3.1%的提升。
在这里插入图片描述
OR表示我们只重建RGB分支,OH表示我们只重建Depth分支。我们只画rgb,depth同理。效果有所降低,说明只对RGB或Depth分值进行重建不如同时进行重建。
在这里插入图片描述
接着作者验证了添加第一层对模型的结构的影响:
在这里插入图片描述
结果:添加了不如不加的好,因为第一层噪声比较多。同时参数量肯定增加了不少在这里插入图片描述
作者验证了CAM的三个变量:
在这里插入图片描述
首先W+表示将所有的CAMs替换为逐像素相加。在这里插入图片描述
结果:51.3%
在这里插入图片描述
WD表示移除掉权重相乘的Wd操作。
在这里插入图片描述
结果:提升到了52.4%相比于逐像素相加,效果提升了1%。
在这里插入图片描述
WOA表示用逐像素相加和卷积替代ADr和ADd:
在这里插入图片描述
结果:和WD结果差不了多少。
在这里插入图片描述
WOC:表示移除多尺度特征提取。
在这里插入图片描述
结果:相比于之前的效果降低了一些,可以知道多尺度特征提取是有用的,即ASPP比一般的卷积效果好一点,这个我也经过实验的。
在这里插入图片描述
WSOF:
在这里插入图片描述
结果:稍微有点降低。
在这里插入图片描述
接着是
CAM
模块的效果可视化:
在这里插入图片描述
接着是
CEM
的三个变量:
在这里插入图片描述

首先是RC,删除掉所有的CEMs,输出值用原始的RGB替换掉,这里的原始RGB到底是输入的RGB还是经过每层卷积后的RGB,这里暂且为经过每层卷积后的RGB。
在这里插入图片描述
结果:相比于最好的结果降低了1点多。
在这里插入图片描述
结果可视化:
在这里插入图片描述
C+:用SUM替代所有的CEMs。
在这里插入图片描述
结果:相比于不加高层次的语义信息还是有些许提升。
在这里插入图片描述
CA:验证逐像素相减的有效性,将减法替换为加法。
在这里插入图片描述
结果:有所下降,相比于逐像素相加,相减可以有效地突出特征的差异。
在这里插入图片描述
CA:将CEM和CAM替换为sum。
在这里插入图片描述
结果下降了4%,证明CAM和CEM的有效性。
在这里插入图片描述
总结:
1:类似于TOP-Down结构效果还是挺好的。即高层语义信息向低层的细节特征flow。
2:整个模型总体看来就是一个点即RGB和Depth的融合问题。融合的效果好最后的结果也是很好的,比如SA-Gate,encoder只关注RGB和Depth的融合问题,decoder比较简单。
3:RGB和Depth融合,一般三四个分支就足够的,不用太多,说的就是第一层,即经过池化后融合大可不必和decoder融合,增加计算量,并且第一层特征噪声比较多。
4:跨模态,跨层融合比单一的融合效果更好。同时注意力也是必不可少的。
5:类似于ASPP的结构获得更大的感受野,加在模型中会有一点提升。

这篇关于FRNet:Feature Reconstruction Network for RGB-D Indoor Scene Parsing实验补充的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/490611

相关文章

poj 2349 Arctic Network uva 10369(prim or kruscal最小生成树)

题目很麻烦,因为不熟悉最小生成树的算法调试了好久。 感觉网上的题目解释都没说得很清楚,不适合新手。自己写一个。 题意:给你点的坐标,然后两点间可以有两种方式来通信:第一种是卫星通信,第二种是无线电通信。 卫星通信:任何两个有卫星频道的点间都可以直接建立连接,与点间的距离无关; 无线电通信:两个点之间的距离不能超过D,无线电收发器的功率越大,D越大,越昂贵。 计算无线电收发器D

STM32(十一):ADC数模转换器实验

AD单通道: 1.RCC开启GPIO和ADC时钟。配置ADCCLK分频器。 2.配置GPIO,把GPIO配置成模拟输入的模式。 3.配置多路开关,把左面通道接入到右面规则组列表里。 4.配置ADC转换器, 包括AD转换器和AD数据寄存器。单次转换,连续转换;扫描、非扫描;有几个通道,触发源是什么,数据对齐是左对齐还是右对齐。 5.ADC_CMD 开启ADC。 void RCC_AD

HNU-2023电路与电子学-实验3

写在前面: 一、实验目的 1.了解简易模型机的内部结构和工作原理。 2.分析模型机的功能,设计 8 重 3-1 多路复用器。 3.分析模型机的功能,设计 8 重 2-1 多路复用器。 4.分析模型机的工作原理,设计模型机控制信号产生逻辑。 二、实验内容 1.用 VERILOG 语言设计模型机的 8 重 3-1 多路复用器; 2.用 VERILOG 语言设计模型机的 8 重 2-1 多

【多系统萎缩患者必看】✨维生素补充全攻略,守护你的健康每一天!

亲爱的朋友们,今天我们要聊一个既重要又容易被忽视的话题——‌多系统萎缩患者如何科学补充维生素‌!🌟 在这个快节奏的生活中,健康成为了我们最宝贵的财富,而对于多系统萎缩(MSA)的患者来说,合理的营养补充更是维护身体机能、提升生活质量的关键一步。👇 🌈 为什么多系统萎缩患者需要特别关注维生素? 多系统萎缩是一种罕见且复杂的神经系统疾病,它影响身体的多个系统,包括自主神经、锥体外系、小脑及锥

Vue2电商项目(二) Home模块的开发;(还需要补充js节流和防抖的回顾链接)

文章目录 一、Home模块拆分1. 三级联动组件TypeNav2. 其余组件 二、发送请求的准备工作1. axios的二次封装2. 统一管理接口API----跨域3. nprogress进度条 三、 vuex模块开发四、TypeNav三级联动组件开发1. 动态展示三级联动数据2. 三级联动 动态背景(1)、方式一:CSS样式(2)、方式二:JS 3. 控制二三级数据隐藏与显示--绑定styl

图神经网络框架DGL实现Graph Attention Network (GAT)笔记

参考列表: [1]深入理解图注意力机制 [2]DGL官方学习教程一 ——基础操作&消息传递 [3]Cora数据集介绍+python读取 一、DGL实现GAT分类机器学习论文 程序摘自[1],该程序实现了利用图神经网络框架——DGL,实现图注意网络(GAT)。应用demo为对机器学习论文数据集——Cora,对论文所属类别进行分类。(下图摘自[3]) 1. 程序 Ubuntu:18.04

61.以太网数据回环实验(4)以太网数据收发器发送模块

(1)状态转移图: (2)IP数据包格式: (3)UDP数据包格式: (4)以太网发送模块代码: module udp_tx(input wire gmii_txc ,input wire reset_n ,input wire tx_start_en , //以太网开始发送信

深度学习--对抗生成网络(GAN, Generative Adversarial Network)

对抗生成网络(GAN, Generative Adversarial Network)是一种深度学习模型,由Ian Goodfellow等人在2014年提出。GAN主要用于生成数据,通过两个神经网络相互对抗,来生成以假乱真的新数据。以下是对GAN的详细阐述,包括其概念、作用、核心要点、实现过程、代码实现和适用场景。 1. 概念 GAN由两个神经网络组成:生成器(Generator)和判别器(D

LTspice模拟CCM和DCM模式的BUCK电路实验及参数计算

关于BUCK电路的原理可以参考硬件工程师炼成之路写的《 手撕Buck!Buck公式推导过程》.实验内容是将12V~5V的Buck电路仿真,要求纹波电压小于15mv. CCM和DCM的区别: CCM:在一个开关周期内,电感电流从不会到0. DCM:在开关周期内,电感电流总会到0. CCM模式Buck电路仿真: 在用LTspice模拟CCM电路时,MOS管驱动信号频率为100Khz,负载为10R(可自

HCIA--实验十:路由的递归特性

递归路由的理解 一、实验内容 1.需求/要求: 使用4台路由器,在AR1和AR4上分别配置一个LOOPBACK接口,根据路由的递归特性,写一系列的静态路由实现让1.1.1.1和4.4.4.4的双向通信。 二、实验过程 1.拓扑图: 2.步骤: (下列命令行可以直接复制在ensp) 1.如拓扑图所示,配置各路由器的基本信息: 各接口的ip地址及子网掩码,给AR1和AR4分别配置