【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder

2024-08-29 15:28
文章标签 代码 解读 解码 特征 融合 mit 第四篇 bevfusion decoder fuser

本文主要是介绍【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 1. fuser模块
  • 2. decoder模块
    • 2.1 backbone模块
    • 2.2 neck模块

BEVFusion相关的其他文章链接：

  1. 【论文阅读】ICRA 2023|BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
  2. MIT-BEVFusion训练环境安装以及问题解决记录
  3. 【MIT-BEVFusion代码解读】第一篇：整体结构与config参数说明
  4. 【MIT-BEVFusion代码解读】第二篇：LiDAR的encoder部分
  5. 【MIT-BEVFusion代码解读】第三篇：camera的encoder部分
  6. 【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder

1. fuser模块

fuser模块的作用是将LiDAR和camera得到的BEV特征进行融合，这里使用的ConvFuser方法将两个BEV特征融合。

x = self.fuser(features)

将LiDAR=>[4, 256, 180, 180]和camera => [4, 80, 180, 180]进行concat得到 => [4, 336, 180, 180]，然后再卷积得到 =>[4, 256, 180, 180]，具体代码如下。

class ConvFuser(nn.Sequential):def __init__(self, in_channels: int, out_channels: int) -> None:self.in_channels = in_channels # [80, 256]self.out_channels = out_channels # 256super().__init__(nn.Conv2d(sum(in_channels), out_channels, 3, padding=1, bias=False),nn.BatchNorm2d(out_channels),nn.ReLU(True),)def forward(self, inputs: List[torch.Tensor]) -> torch.Tensor:# 先进行concat，然后调用父类的卷积模块return super().forward(torch.cat(inputs, dim=1))

融合的结构如下所示：

ConvFuser((0): Conv2d(336, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(2): ReLU(inplace=True)
)

2. decoder模块

decoder部分由两部分组成，分别是backbone和neck，其中backbone使用的是SECOND，neck部分使用的是SECONDFPN。
在这里插入图片描述

2.1 backbone模块

backbone使用的SECOND，和默认的layer_nums=[3, 5, 5]结构不一样，BEVFusion中使用的layer_nums=[5, 5]。所以backbone只有两个分支，都是5个卷积模块组成。

        outs = []for i in range(len(self.blocks)):x = self.blocks[i](x)outs.append(x)return tuple(outs)
  • 分支一：

第一个分支的输入是fuser的输出，它的大小为[4, 256, 180, 180]，首先经过第一个Con2d将通道降至128，后面再接5个相同的Con2d提取特征，得到outs[0]的大小为[4, 128, 180, 180]。

Sequential((0): Conv2d(256, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(1): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(2): ReLU(inplace=True)(3): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(4): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(5): ReLU(inplace=True)(6): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(7): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(8): ReLU(inplace=True)(9): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(10): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(11): ReLU(inplace=True)(12): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(13): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(14): ReLU(inplace=True)(15): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(16): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(17): ReLU(inplace=True)
)
  • 分支二：

第二个分支的输入是out[0]，这个分支首先经过第一个Conv2d，将通道数128上至256，并且将feature map的长和宽都减半至90，然后在经过5个相同的Conv2d提取特征，最后得到特征outs[1]的大小为[4, 256, 90, 90]。

Sequential((0): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)(1): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(2): ReLU(inplace=True)(3): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(4): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(5): ReLU(inplace=True)(6): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(7): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(8): ReLU(inplace=True)(9): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(10): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(11): ReLU(inplace=True)(12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(13): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(14): ReLU(inplace=True)(15): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(16): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(17): ReLU(inplace=True)
)

2.2 neck模块

neck的作用是将backbone得到的feature map调整至指定大小[4, 256, 180, 180]。

由于backbone得到了两个大小不同的feature map，分别为[4, 128, 180, 180]和[4, 256, 90, 90]，第一个特征使用卷积降低通道数即可，第二个则需要反卷积来提升feature map的大小，实际上源代码也是这么做的。最后将得到两个分支的特征进行concat即可。

        assert len(x) == len(self.in_channels)# self.deblocks一共有两个，一个是卷积，一个是反卷积ups = [deblock(x[i]) for i, deblock in enumerate(self.deblocks)]# concat两个分支featureif len(ups) > 1:out = torch.cat(ups, dim=1)else:out = ups[0]return [out]

self.deblocks中第一个元素的卷积结构如下：

Sequential((0): Conv2d(128, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)(1): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(2): ReLU(inplace=True)
)

self.deblocks中第二个元素的反卷积结构如下：

Sequential((0): ConvTranspose2d(256, 256, kernel_size=(2, 2), stride=(2, 2), bias=False)(1): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(2): ReLU(inplace=True)
)

将两个分支concat得到的feature map大小为：[4, 512, 180, 180]。

这篇关于【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1118244。

相关文章

活用c4d官方开发文档查询代码

活用c4d官方开发文档查询代码

当你问AI助手比如豆包，如何用python禁止掉xpresso标签时候，它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来
阅读更多...
poj 1258 Agri-Net（最小生成树模板代码）

poj 1258 Agri-Net（最小生成树模板代码）

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码：效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n
阅读更多...
MCU7.keil中build产生的hex文件解读

MCU7.keil中build产生的hex文件解读

1.hex文件大致解读 闲来无事,查看了MCU6.用keil新建项目的hex文件 用FlexHex打开 给我的第一印象是:经过软件的解释之后,发现这些数据排列地十分整齐 :02000F0080FE71:03000000020003F8:0C000300787FE4F6D8FD75810702000F3D:00000001FF 把解释后的数据当作十六进制来观察 1.每一行数据
阅读更多...
Java ArrayList扩容机制 （源码解读）

Java ArrayList扩容机制 （源码解读）

结论：初始长度为10，若所需长度小于1.5倍原长度，则按照1.5倍扩容。若不够用则按照所需长度扩容。 一. 明确类内部重要变量含义         1：数组默认长度         2:这是一个共享的空数组实例，用于明确创建长度为0时的ArrayList ，比如通过 new ArrayList<>(0)，ArrayList 内部的数组 elementData 会指向这个 EMPTY_EL
阅读更多...
计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

🍊作者：计算机编程-吉哥 🍊简介：专业从事JavaWeb程序开发，微信小程序开发，定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事，生活就是快乐的。 🍊心愿：点赞 👍 收藏 ⭐评论 📝 🍅 文末获取源码联系 👇🏻 精彩专栏推荐订阅 👇🏻 不然下次找不到哟~Java毕业设计项目~热门选题推荐《1000套》 目录 1.技术选型 2.开发工具 3.功能
阅读更多...
韦季李输入法_输入法和鼠标的深度融合

韦季李输入法_输入法和鼠标的深度融合

在数字化输入的新纪元，传统键盘输入方式正悄然进化。以往，面对实体键盘，我们常需目光游离于屏幕与键盘之间，以确认指尖下的精准位置。而屏幕键盘虽直观可见，却常因占据屏幕空间，迫使我们在操作与视野间做出妥协，频繁调整布局以兼顾输入与界面浏览。 幸而，韦季李输入法的横空出世，彻底颠覆了这一现状。它不仅对输入界面进行了革命性的重构，更巧妙地将鼠标这一传统外设融入其中，开创了一种前所未有的交互体验。 想象
阅读更多...
代码随想录冲冲冲 Day39 动态规划Part7

代码随想录冲冲冲 Day39 动态规划Part7

198. 打家劫舍 dp数组的意义是在第i位的时候偷的最大钱数是多少 如果nums的size为0 总价值当然就是0 如果nums的size为1 总价值是nums[0] 遍历顺序就是从小到大遍历 之后是递推公式 对于dp[i]的最大价值来说有两种可能 1.偷第i个 那么最大价值就是dp[i-2]+nums[i] 2.不偷第i个 那么价值就是dp[i-1] 之后取这两个的最大值就是d
阅读更多...
pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定

pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定

在 Python 开发中，管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等，都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools？ pip-tools 是一组命令行工具，旨在简化 Python 依赖关系的管理，确保项目环境的稳定性和可重复性。它主要包含两个核心工具：pip-compile 和 pip
阅读更多...
D4代码AC集

D4代码AC集

贪心问题解决的步骤： （局部贪心能导致全局贪心）    1.确定贪心策略    2.验证贪心策略是否正确 排队接水 #include<bits/stdc++.h>using namespace std;int main(){int w,n,a[32000];cin>>w>>n;for(int i=1;i<=n;i++){cin>>a[i];}sort(a+1,a+n+1);int i=1
阅读更多...
Spring 源码解读：自定义实现Bean定义的注册与解析

Spring 源码解读：自定义实现Bean定义的注册与解析

引言 在Spring框架中，Bean的注册与解析是整个依赖注入流程的核心步骤。通过Bean定义，Spring容器知道如何创建、配置和管理每个Bean实例。本篇文章将通过实现一个简化版的Bean定义注册与解析机制，帮助你理解Spring框架背后的设计逻辑。我们还将对比Spring中的BeanDefinition和BeanDefinitionRegistry，以全面掌握Bean注册和解析的核心原理。
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2