使用OpenPCDet训练与测试多传感器融合模型BEVFusion,OPenPCdet代码架构介绍

本文主要是介绍使用OpenPCDet训练与测试多传感器融合模型BEVFusion,OPenPCdet代码架构介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言

在自动驾驶领域,多传感器融合技术是一种常见的方法,用于提高感知系统的准确性和鲁棒性。其中,BevFusion是一种流行的融合方法,可以将来自不同传感器的数据进行融合,生成具有丰富信息的鸟瞰图(BEV)表示。在本文中,我们将介绍如何使用OpenPCdet框架训练和测试多传感器融合BevFusion

环境搭建与数据准备
  1. 安装OpenPCDet: 确标Python环境,确保安装PyTorch及OpenPCDet。克隆仓库后,执行依赖安装。

    参考:安装、测试和训练OpenPCDet:一篇详尽的指南

  2. nuScenes数据集: 从官方网站下载数据集,包含LiDAR、相机图像、雷达等多模态数据,为训练和评估准备。存放到相应的路径。

​        参考:nuscenes生成数据信息info

模型训练
#单个GPU
python train.py --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml
#多GPU
sh scripts/dist_train.sh 3 --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml
模型测试
python test.py --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml --batch_size 4 --ckpt ../checkpoints_office/cbgs_bevfusion.pth
mAP: 0.5754
mATE: 0.3975
mASE: 0.4431
mAOE: 0.4555
mAVE: 0.4208
mAAE: 0.3252
NDS: 0.5835
Eval time: 2.6sPer-class results:
Object Class    AP    ATE    ASE    AOE    AVE    AAE
car    0.920    0.165    0.157    0.090    0.112    0.068
truck    0.778    0.144    0.149    0.017    0.104    0.011
bus    0.995    0.152    0.069    0.028    0.540    0.395
trailer    0.000    1.000    1.000    1.000    1.000    1.000
construction_vehicle    0.000    1.000    1.000    1.000    1.000    1.000
pedestrian    0.931    0.120    0.252    0.298    0.204    0.126
motorcycle    0.690    0.185    0.256    0.342    0.051    0.000
bicycle    0.535    0.153    0.197    0.324    0.355    0.000
traffic_cone    0.906    0.055    0.351    nan    nan    nan
barrier    0.000    1.000    1.000    1.000    nan    nan
2024-06-07 17:03:17,225   INFO  ----------------Nuscene detection_cvpr_2019 results-----------------
***car error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.17, 0.16, 0.09, 0.11, 0.07 | 85.35, 92.91, 94.20, 95.42 | mean AP: 0.9197057440961336
***truck error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.14, 0.15, 0.02, 0.10, 0.01 | 75.16, 78.18, 78.18, 79.76 | mean AP: 0.7781960247370747
***construction_vehicle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, 1.00, 1.00 | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***bus error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.15, 0.07, 0.03, 0.54, 0.40 | 99.53, 99.53, 99.53, 99.53 | mean AP: 0.9953412532028887
***trailer error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, 1.00, 1.00 | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***barrier error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, nan, nan | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***motorcycle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.18, 0.26, 0.34, 0.05, 0.00 | 64.87, 68.47, 70.18, 72.33 | mean AP: 0.6896328768856833
***bicycle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.15, 0.20, 0.32, 0.36, 0.00 | 52.81, 52.81, 52.81, 55.62 | mean AP: 0.5350891766510515
***pedestrian error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.12, 0.25, 0.30, 0.20, 0.13 | 91.38, 92.03, 93.15, 95.71 | mean AP: 0.9306973397899039
***traffic_cone error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.06, 0.35, nan, nan, nan | 90.58, 90.58, 90.58, 90.58 | mean AP: 0.9057559715637864
--------------average performance-------------
trans_err:     0.3975
scale_err:     0.4431
orient_err:     0.4555
vel_err:     0.4208
attr_err:     0.3252
mAP:     0.5754
NDS:     0.5835

代码结构

OpenPCDet 的代码结构清晰,主要由以下几个部分组成:

OpenPCDet
├── cfgs                  # 配置文件目录
├── data                  # 数据处理和加载相关代码
├── pcdet                 # 核心库代码
│   ├── datasets          # 数据集相关代码
│   ├── models            # 模型相关代码
│   ├── ops               # 常用操作实现(如 3D 点云操作)
│   ├── utils             # 工具函数和类
├── tools                 # 训练、测试、评估和可视化的脚本
├── scripts               # 辅助脚本(如多 GPU 训练脚本)
├── README.md             # 项目简介和使用说明

具体组成如何:

cfgs
  • cfgs 目录包含各种模型和数据集的配置文件。这些配置文件定义了模型架构、训练参数、数据处理流程等。配置文件通常采用 YAML 格式,便于阅读和修改。

data

data 目录包含数据处理和加载相关代码。主要包括数据集的转换脚本和数据加载器。不同的数据集(如 KITTI、nuScenes)通常有对应的转换脚本,用于将原始数据转换为 OpenPCDet 可用的格式。

pcdet

pcdet 是核心库目录,包含以下子目录:

datasets

datasets 目录包含各种数据集的实现,包括数据加载、预处理和增强等。每个数据集通常有对应的类来处理数据集特有的格式和要求。

  • data_processor: 包含数据预处理模块,例如点云特征提取、数据增强、数据格式转换等。
  • dataset: 包含数据集类,负责加载和预处理数据集,并生成训练和评估所需的数据批。
  • utils: 包含一些数据集相关的工具函数,例如数据集划分、数据集统计等。

model

models 目录包含各种 3D 目标检测模型的实现。每个模型通常由多个模块组成,如 backbone(骨干网络)、neck(中间层)、head(检测头)等。这些模块可以根据需要进行组合和配置。

  • backbone: 包含骨干网络模块,例如 PointNet、PointNet++、VoxelNet 等,负责提取点云特征。
  • head: 包含头部网络模块,例如 SECOND Head、PointPillar Head 等,负责预测目标框、类别和朝向角等。
  • post_processing: 包含后处理模块,例如 NMS (非极大值抑制) 等,用于筛选和合并目标框。
  • utils: 包含一些模型相关的工具函数,例如损失函数计算、指标计算等。

tools

  • train: 包含模型训练工具,例如训练脚本、训练器类等,负责模型训练流程控制。
  • test: 包含模型评估工具,例如评估脚本、评估器类等,负责模型评估流程控制。
  • visualize: 包含模型可视化工具,例如可视化脚本、可视化器类等,负责模型可视化展示。
  • scripts: 包含一些常用的脚本文件,例如数据集划分脚本、模型训练脚本等。

scripts

  • dataset_converters: 包含数据集转换脚本,例如将原始数据集转换为 OpenPCDet 支持的格式。
  • data_split: 包含数据集划分脚本,例如将数据集划分为训练集、验证集和测试集。
  • train: 包含模型训练脚本,例如启动训练流程、保存训练模型等。
  • test: 包含模型评估脚本,例如启动评估流程、生成评估结果等。

总结

OpenPCDet 的代码结构清晰且模块化,每个部分都承担着不同的功能,协同工作完成 3D 目标检测任务。了解 OpenPCDet 的代码结构有助于更好地理解其工作原理和进行二次开发。

关注我的公众号auto_drive_ai(Ai fighting), 第一时间获取更新内容。

这篇关于使用OpenPCDet训练与测试多传感器融合模型BEVFusion,OPenPCdet代码架构介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1043889

相关文章

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

C 语言中enum枚举的定义和使用小结

《C语言中enum枚举的定义和使用小结》在C语言里,enum(枚举)是一种用户自定义的数据类型,它能够让你创建一组具名的整数常量,下面我会从定义、使用、特性等方面详细介绍enum,感兴趣的朋友一起看... 目录1、引言2、基本定义3、定义枚举变量4、自定义枚举常量的值5、枚举与switch语句结合使用6、枚

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

redis过期key的删除策略介绍

《redis过期key的删除策略介绍》:本文主要介绍redis过期key的删除策略,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录第一种策略:被动删除第二种策略:定期删除第三种策略:强制删除关于big key的清理UNLINK命令FLUSHALL/FLUSHDB命

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin