【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder

本文主要是介绍【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

1. fuser模块
2. decoder模块
- 2.1 backbone模块
- 2.2 neck模块

BEVFusion相关的其他文章链接：

【论文阅读】ICRA 2023|BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
MIT-BEVFusion训练环境安装以及问题解决记录
【MIT-BEVFusion代码解读】第一篇：整体结构与config参数说明
【MIT-BEVFusion代码解读】第二篇：LiDAR的encoder部分
【MIT-BEVFusion代码解读】第三篇：camera的encoder部分
【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder

1. fuser模块

fuser模块的作用是将LiDAR和camera得到的BEV特征进行融合，这里使用的ConvFuser方法将两个BEV特征融合。

x = self.fuser(features)

将LiDAR=>[4, 256, 180, 180]和camera => [4, 80, 180, 180]进行concat得到 => [4, 336, 180, 180]，然后再卷积得到 =>[4, 256, 180, 180]，具体代码如下。

class ConvFuser(nn.Sequential):def __init__(self, in_channels: int, out_channels: int) -> None:self.in_channels = in_channels # [80, 256]self.out_channels = out_channels # 256super().__init__(nn.Conv2d(sum(in_channels), out_channels, 3, padding=1, bias=False),nn.BatchNorm2d(out_channels),nn.ReLU(True),)def forward(self, inputs: List[torch.Tensor]) -> torch.Tensor:# 先进行concat，然后调用父类的卷积模块return super().forward(torch.cat(inputs, dim=1))

融合的结构如下所示：

ConvFuser((0): Conv2d(336, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(2): ReLU(inplace=True)
)

2. decoder模块

decoder部分由两部分组成，分别是backbone和neck，其中backbone使用的是SECOND，neck部分使用的是SECONDFPN。
在这里插入图片描述

2.1 backbone模块

backbone使用的SECOND，和默认的layer_nums=[3, 5, 5]结构不一样，BEVFusion中使用的layer_nums=[5, 5]。所以backbone只有两个分支，都是5个卷积模块组成。

        outs = []for i in range(len(self.blocks)):x = self.blocks[i](x)outs.append(x)return tuple(outs)

分支一：

第一个分支的输入是fuser的输出，它的大小为[4, 256, 180, 180]，首先经过第一个Con2d将通道降至128，后面再接5个相同的Con2d提取特征，得到outs[0]的大小为[4, 128, 180, 180]。

Sequential((0): Conv2d(256, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(1): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(2): ReLU(inplace=True)(3): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(4): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(5): ReLU(inplace=True)(6): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(7): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(8): ReLU(inplace=True)(9): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(10): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(11): ReLU(inplace=True)(12): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(13): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(14): ReLU(inplace=True)(15): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(16): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(17): ReLU(inplace=True)
)

分支二：

第二个分支的输入是out[0]，这个分支首先经过第一个Conv2d，将通道数128上至256，并且将feature map的长和宽都减半至90，然后在经过5个相同的Conv2d提取特征，最后得到特征outs[1]的大小为[4, 256, 90, 90]。

Sequential((0): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)(1): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(2): ReLU(inplace=True)(3): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(4): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(5): ReLU(inplace=True)(6): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(7): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(8): ReLU(inplace=True)(9): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(10): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(11): ReLU(inplace=True)(12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(13): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(14): ReLU(inplace=True)(15): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)(16): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(17): ReLU(inplace=True)
)

2.2 neck模块

neck的作用是将backbone得到的feature map调整至指定大小[4, 256, 180, 180]。

由于backbone得到了两个大小不同的feature map，分别为[4, 128, 180, 180]和[4, 256, 90, 90]，第一个特征使用卷积降低通道数即可，第二个则需要反卷积来提升feature map的大小，实际上源代码也是这么做的。最后将得到两个分支的特征进行concat即可。

        assert len(x) == len(self.in_channels)# self.deblocks一共有两个，一个是卷积，一个是反卷积ups = [deblock(x[i]) for i, deblock in enumerate(self.deblocks)]# concat两个分支featureif len(ups) > 1:out = torch.cat(ups, dim=1)else:out = ups[0]return [out]

self.deblocks中第一个元素的卷积结构如下：

Sequential((0): Conv2d(128, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)(1): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(2): ReLU(inplace=True)
)

self.deblocks中第二个元素的反卷积结构如下：

Sequential((0): ConvTranspose2d(256, 256, kernel_size=(2, 2), stride=(2, 2), bias=False)(1): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)(2): ReLU(inplace=True)
)