使用OpenPCDet训练与测试多传感器融合模型BEVFusion,OPenPCdet代码架构介绍

本文主要是介绍使用OpenPCDet训练与测试多传感器融合模型BEVFusion,OPenPCdet代码架构介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言

在自动驾驶领域,多传感器融合技术是一种常见的方法,用于提高感知系统的准确性和鲁棒性。其中,BevFusion是一种流行的融合方法,可以将来自不同传感器的数据进行融合,生成具有丰富信息的鸟瞰图(BEV)表示。在本文中,我们将介绍如何使用OpenPCdet框架训练和测试多传感器融合BevFusion

环境搭建与数据准备
  1. 安装OpenPCDet: 确标Python环境,确保安装PyTorch及OpenPCDet。克隆仓库后,执行依赖安装。

    参考:安装、测试和训练OpenPCDet:一篇详尽的指南

  2. nuScenes数据集: 从官方网站下载数据集,包含LiDAR、相机图像、雷达等多模态数据,为训练和评估准备。存放到相应的路径。

​        参考:nuscenes生成数据信息info

模型训练
#单个GPU
python train.py --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml
#多GPU
sh scripts/dist_train.sh 3 --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml
模型测试
python test.py --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml --batch_size 4 --ckpt ../checkpoints_office/cbgs_bevfusion.pth
mAP: 0.5754
mATE: 0.3975
mASE: 0.4431
mAOE: 0.4555
mAVE: 0.4208
mAAE: 0.3252
NDS: 0.5835
Eval time: 2.6sPer-class results:
Object Class    AP    ATE    ASE    AOE    AVE    AAE
car    0.920    0.165    0.157    0.090    0.112    0.068
truck    0.778    0.144    0.149    0.017    0.104    0.011
bus    0.995    0.152    0.069    0.028    0.540    0.395
trailer    0.000    1.000    1.000    1.000    1.000    1.000
construction_vehicle    0.000    1.000    1.000    1.000    1.000    1.000
pedestrian    0.931    0.120    0.252    0.298    0.204    0.126
motorcycle    0.690    0.185    0.256    0.342    0.051    0.000
bicycle    0.535    0.153    0.197    0.324    0.355    0.000
traffic_cone    0.906    0.055    0.351    nan    nan    nan
barrier    0.000    1.000    1.000    1.000    nan    nan
2024-06-07 17:03:17,225   INFO  ----------------Nuscene detection_cvpr_2019 results-----------------
***car error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.17, 0.16, 0.09, 0.11, 0.07 | 85.35, 92.91, 94.20, 95.42 | mean AP: 0.9197057440961336
***truck error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.14, 0.15, 0.02, 0.10, 0.01 | 75.16, 78.18, 78.18, 79.76 | mean AP: 0.7781960247370747
***construction_vehicle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, 1.00, 1.00 | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***bus error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.15, 0.07, 0.03, 0.54, 0.40 | 99.53, 99.53, 99.53, 99.53 | mean AP: 0.9953412532028887
***trailer error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, 1.00, 1.00 | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***barrier error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, nan, nan | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***motorcycle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.18, 0.26, 0.34, 0.05, 0.00 | 64.87, 68.47, 70.18, 72.33 | mean AP: 0.6896328768856833
***bicycle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.15, 0.20, 0.32, 0.36, 0.00 | 52.81, 52.81, 52.81, 55.62 | mean AP: 0.5350891766510515
***pedestrian error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.12, 0.25, 0.30, 0.20, 0.13 | 91.38, 92.03, 93.15, 95.71 | mean AP: 0.9306973397899039
***traffic_cone error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.06, 0.35, nan, nan, nan | 90.58, 90.58, 90.58, 90.58 | mean AP: 0.9057559715637864
--------------average performance-------------
trans_err:     0.3975
scale_err:     0.4431
orient_err:     0.4555
vel_err:     0.4208
attr_err:     0.3252
mAP:     0.5754
NDS:     0.5835

代码结构

OpenPCDet 的代码结构清晰,主要由以下几个部分组成:

OpenPCDet
├── cfgs                  # 配置文件目录
├── data                  # 数据处理和加载相关代码
├── pcdet                 # 核心库代码
│   ├── datasets          # 数据集相关代码
│   ├── models            # 模型相关代码
│   ├── ops               # 常用操作实现(如 3D 点云操作)
│   ├── utils             # 工具函数和类
├── tools                 # 训练、测试、评估和可视化的脚本
├── scripts               # 辅助脚本(如多 GPU 训练脚本)
├── README.md             # 项目简介和使用说明

具体组成如何:

cfgs
  • cfgs 目录包含各种模型和数据集的配置文件。这些配置文件定义了模型架构、训练参数、数据处理流程等。配置文件通常采用 YAML 格式,便于阅读和修改。

data

data 目录包含数据处理和加载相关代码。主要包括数据集的转换脚本和数据加载器。不同的数据集(如 KITTI、nuScenes)通常有对应的转换脚本,用于将原始数据转换为 OpenPCDet 可用的格式。

pcdet

pcdet 是核心库目录,包含以下子目录:

datasets

datasets 目录包含各种数据集的实现,包括数据加载、预处理和增强等。每个数据集通常有对应的类来处理数据集特有的格式和要求。

  • data_processor: 包含数据预处理模块,例如点云特征提取、数据增强、数据格式转换等。
  • dataset: 包含数据集类,负责加载和预处理数据集,并生成训练和评估所需的数据批。
  • utils: 包含一些数据集相关的工具函数,例如数据集划分、数据集统计等。

model

models 目录包含各种 3D 目标检测模型的实现。每个模型通常由多个模块组成,如 backbone(骨干网络)、neck(中间层)、head(检测头)等。这些模块可以根据需要进行组合和配置。

  • backbone: 包含骨干网络模块,例如 PointNet、PointNet++、VoxelNet 等,负责提取点云特征。
  • head: 包含头部网络模块,例如 SECOND Head、PointPillar Head 等,负责预测目标框、类别和朝向角等。
  • post_processing: 包含后处理模块,例如 NMS (非极大值抑制) 等,用于筛选和合并目标框。
  • utils: 包含一些模型相关的工具函数,例如损失函数计算、指标计算等。

tools

  • train: 包含模型训练工具,例如训练脚本、训练器类等,负责模型训练流程控制。
  • test: 包含模型评估工具,例如评估脚本、评估器类等,负责模型评估流程控制。
  • visualize: 包含模型可视化工具,例如可视化脚本、可视化器类等,负责模型可视化展示。
  • scripts: 包含一些常用的脚本文件,例如数据集划分脚本、模型训练脚本等。

scripts

  • dataset_converters: 包含数据集转换脚本,例如将原始数据集转换为 OpenPCDet 支持的格式。
  • data_split: 包含数据集划分脚本,例如将数据集划分为训练集、验证集和测试集。
  • train: 包含模型训练脚本,例如启动训练流程、保存训练模型等。
  • test: 包含模型评估脚本,例如启动评估流程、生成评估结果等。

总结

OpenPCDet 的代码结构清晰且模块化,每个部分都承担着不同的功能,协同工作完成 3D 目标检测任务。了解 OpenPCDet 的代码结构有助于更好地理解其工作原理和进行二次开发。

关注我的公众号auto_drive_ai(Ai fighting), 第一时间获取更新内容。

这篇关于使用OpenPCDet训练与测试多传感器融合模型BEVFusion,OPenPCdet代码架构介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1043889

相关文章

springboot循环依赖问题案例代码及解决办法

《springboot循环依赖问题案例代码及解决办法》在SpringBoot中,如果两个或多个Bean之间存在循环依赖(即BeanA依赖BeanB,而BeanB又依赖BeanA),会导致Spring的... 目录1. 什么是循环依赖?2. 循环依赖的场景案例3. 解决循环依赖的常见方法方法 1:使用 @La

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J

使用C#代码在PDF文档中添加、删除和替换图片

《使用C#代码在PDF文档中添加、删除和替换图片》在当今数字化文档处理场景中,动态操作PDF文档中的图像已成为企业级应用开发的核心需求之一,本文将介绍如何在.NET平台使用C#代码在PDF文档中添加、... 目录引言用C#添加图片到PDF文档用C#删除PDF文档中的图片用C#替换PDF文档中的图片引言在当

Java中List的contains()方法的使用小结

《Java中List的contains()方法的使用小结》List的contains()方法用于检查列表中是否包含指定的元素,借助equals()方法进行判断,下面就来介绍Java中List的c... 目录详细展开1. 方法签名2. 工作原理3. 使用示例4. 注意事项总结结论:List 的 contain

C#使用SQLite进行大数据量高效处理的代码示例

《C#使用SQLite进行大数据量高效处理的代码示例》在软件开发中,高效处理大数据量是一个常见且具有挑战性的任务,SQLite因其零配置、嵌入式、跨平台的特性,成为许多开发者的首选数据库,本文将深入探... 目录前言准备工作数据实体核心技术批量插入:从乌龟到猎豹的蜕变分页查询:加载百万数据异步处理:拒绝界面

Android中Dialog的使用详解

《Android中Dialog的使用详解》Dialog(对话框)是Android中常用的UI组件,用于临时显示重要信息或获取用户输入,本文给大家介绍Android中Dialog的使用,感兴趣的朋友一起... 目录android中Dialog的使用详解1. 基本Dialog类型1.1 AlertDialog(

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

用js控制视频播放进度基本示例代码

《用js控制视频播放进度基本示例代码》写前端的时候,很多的时候是需要支持要网页视频播放的功能,下面这篇文章主要给大家介绍了关于用js控制视频播放进度的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言html部分:JavaScript部分:注意:总结前言在javascript中控制视频播放

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》:本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定