【自动驾驶系列丛书学习】2.《自动驾驶汽车环境感知》学习笔记

2024-03-11 17:20

本文主要是介绍【自动驾驶系列丛书学习】2.《自动驾驶汽车环境感知》学习笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《自动驾驶技术概论》学习笔记

致谢:作者:甄先通、黄坚、王亮、夏添

-------------------------------------------------------------------------------------------------------- 

笔记目录

《自动驾驶技术概论》学习笔记

1.自动驾驶环境感知概述

2.环境感知——硬件

2.1摄像头

2.2激光雷达

2.3毫米波雷达

2.4超声波雷达

2.5惯性导航


本书系统介绍了自动驾驶汽车环境感知技术。从自动驾驶环境感知概述开始,介绍了车载传感器及传感器标定、计算机视觉与神经网络、环境感知与识别、自动驾驶道路复杂场景语义理解,以及多传感器融合,并通过范例实践验证,可为具备一定基础的人员提供自动驾驶环境感知系统的开发指导。

清华大学出版社此书链接:http://www.tup.tsinghua.edu.cn/booksCenter/book_08301201.html

系列丛书

学习笔记只是随手记录一下阅读的心得,碰到感兴趣的技术要点详细记录,拓宽拓宽眼界,增长增长见识,从自动驾驶的概论到感知-定位-决策-控制,这几个方面学习学习自动驾驶啦~~

未读章节:不标记颜色

已读章节:底部标绿色

感兴趣点:底部标黄色

--------------------------------------------------------------------------------------------------------

《自动驾驶技术概论》

目录

第一章自动驾驶环境感知概述
1.1自动驾驶环境感知介绍
1.2车载感知系统组成简介

第二章车载传感器介绍
2.1摄像头
2.1.1概述
2.1.2工作原理
2.1.3优缺点
2.1.4摄像头在自动驾驶汽车上的应用
2.2激光雷达
2.2.1概述
2.2.2工作原理
2.2.3优缺点
2.2.4激光雷达在自动驾驶汽车中的应用
2.3毫米波雷达
2.3.1概述
2.3.2工作原理
2.3.3优缺点
2.3.4毫米波雷达在自动驾驶汽车中的应用
2.4超声波雷达
2.4.1概述
2.4.2工作原理
2.4.3优缺点
2.4.4超声波雷达在自动驾驶汽车上的应用
2.5惯性导航
2.5.1概述
2.5.2工作原理
2.5.3优缺点
2.5.4惯性导航在自动驾驶汽车上的应用
2.6本章小结
参考文献


第三章传感器标定
3.1概述
3.2摄像头的标定
3.2.1摄像头内参数标定
3.2.2摄像头间外参的标定
3.3激光雷达的标定
3.3.1激光雷达与激光雷达之间的外参标定
3.3.2激光雷达与摄像机的标定
3.4联合标定实验
3.5本章小结
参考文献


第四章计算机视觉与神经网络
4.1无人驾驶与计算机视觉
4.1.1生物视觉
4.1.2边缘检测
4.1.3图像分割
4.1.4神经网络与深度学习
4.1.5深度学习与传统学习
4.1.6计算机视觉在自动驾驶中的应用
4.2深度前馈网络
4.2.1 神经元
4.2.2网络结构
4.2.3深度前馈网络
4.2.4参数学习
4.3卷积神经网络
4.3.1卷积的概念
4.3.2卷积神经网络的性质
4.3.3卷积神经网络基本结构
4.3.4典型卷积神经网络
参考文献


第五章环境感知与识别
5.1环境感知与识别概述
5.2障碍物检测
5.2.2基于激光雷达的障碍物检测
5.2.3基于视觉和激光雷达融合的障碍物检测
5.3车道线检测
5.3.1基于传统计算机视觉的车道线检测
5.3.2基于深度学习的车道线检测
5.3.3︰基于激光雷达的车道线检测
5.4红绿灯检测
5.4.1基于传统视觉方法的红绿灯检
5.4.2基于深度学习的红绿灯检测
5.4.3高精地图结合
5.5场景流
5.5.1概述
5.5.2深度估计
5.5.3光流估计
5.6基于V2X的道路环境感知技术
5.6.1V2X技术
5.6.2路侧感知技术
5.7红绿灯检测实验
5.7.1Apollo红绿灯数据集
5.7.2实验流程
5.8本章小结
参考文献


第六章自动驾驶道路复杂场景语义理解
6.1 ApolloScape数据集
6.2可行驶区域检测
6.2.1基于传统计算机视觉的可行驶区域检测
6.2.2基于深度学习的可行驶区域检测
6.3复杂场景理解
6.3.1问题分析与应用场景
6.3.2CNN+LSTM实现
6.4动态场景理解
6.4.1多目标跟踪
6.4.2路径实时预测
6.4.3行人手势识别
6.5基于PointNet的点云分类和语义分割实验
6.5.1应用模型介绍
6.5.2实验环境·
6.5.3PointNet++代码运行
6.6本章小结
参考文献


第七章多传感器融合
7.1概述
7.2多传感器信息融合基础理论
7.2.1多传感器信息融合概述
7.2.2多传感器融合结构
7.2.3多传感器融合算法
7.3多传感器后融合技术
7.3.1Ulm自动驾驶:模块化的融合方法
7.3.2FOP-MOC模型
7.4多传感器前融合技术
7.4.1MV3D
7.4.2AVOD
7.4.3F-PointNet
7.5本章小结
参考文献

-------------------------------------------------------------------------------------------------------

1.自动驾驶环境感知概述

自动驾驶系统入门(一) - 环境感知 - 知乎 (zhihu.com)

自动驾驶感知——环境感知的基本概念_环境感知技术概述-CSDN博客

自动驾驶四大核心技术分别是环境感知、精确定位、路径规划、线控执行。环境感知系统设计是自动驾驶发展的一个关键环节,也是自动驾驶体现智能的主要方面之一。

其实应该可以分为两个部分,硬件和软件

在硬件上,感知主要是摄像头、激光雷达、毫米波雷达、惯导IMU等,这些硬件的选型,性能,以及技术上的提升,原理等等

在软件上,主要就是基于硬件采集到的数据,进行算法的处理和提升,输入是图片、视频、点云等信息,利用深度学习、神经网络、强化学习等进行处理,最后产生有用信息的输出

ps:在搜索资料的时候看到自动驾驶方向确实有很多课题可以做

2.环境感知——硬件

可以参考一下我的《多传感器融合感知技术学习》笔记专栏:http://t.csdnimg.cn/RL1xQ

2.1摄像头

高级语言的功能,就像是人的眼睛,能够看到五颜六色的世界

车载摄像头的优点十分明显:技术成熟,成本低,采集信息十分丰富,包含最接近人类视觉的语义信息

其缺点主要是摄像头受光照、环境影响十分大,很难全天候工作,在黑夜、雨雪,大雾等能见度较低的情况下,其识别率大幅度降低。车载摄像头的另一缺点就是缺乏深度信息,三维立体空间感不强。

最新综述!基于视觉的自动驾驶环境感知(单目、双目和RGB-D)-阿里云开发者社区 (aliyun.com)

2.2激光雷达

Apollo激光雷达感知:探索自动驾驶的“眼睛”-腾讯云开发者社区-腾讯云 (tencent.com)

激光扫描测量是通过激光扫描器和距离传感器来获取被测目标的表面形态的。激光扫描器一般由激光发射器、接收器、时间计数器、微计算机等组成。

激光雷达通过脉冲激光不断地扫描目标物,就可以得到目标物上全部目标点的数据,使用这些数据进行图像处理后,就可以得到精确的三维立体图像。另外,激光束发射的频率一般是每秒几万个脉冲以上。举例而言,一个频率为每秒一万次脉冲的系统,接收器将会在一分钟内记录六十万个点。

激光雷达的一些参数:

2.3毫米波雷达

这博主写得很全面:自动驾驶感知——毫米波雷达_毫米波雷达输出什么数据-CSDN博客

毫米波雷达是工作在毫米波波段(millimeter wave)探测的雷达,其与普通雷达相似,通过发射无线电信号并接收反射信号来测定与物体间的距离。毫米波频率通常在30~300GHz(波长为1~10mm),波长介于厘米波和光波之间,因此毫米波雷达兼有微波雷达和光电雷达的一些优点,非常适合于自动驾驶汽车领域的应用。因为毫米波雷达具有较强的穿透性,能够轻松地穿透保险杠上的塑料,所以常被安装在汽车的保险杠内。

77GHz及79GHz雷达是未来车载毫米波雷达的发展方向,国内正处于快速追赶时期

毫米波雷达优点:
(1)高分辨率,小尺寸。由于天线和其他的微波元器件尺寸与频率有关,因此毫米波雷达的天线和微波元器件较小,小的天线尺寸可获得窄波束。
(2)与红外﹑激光,电视等光学导引头相比,毫米波导引头穿透雾、烟,灰尘的能力强,测距精度受天气因素和环境因素影响较小,可以基本保证车辆在各种日常天气下的正常运行。
(3与常常用来与毫米波雷达相比的红外系统相比,毫米波雷达的一个优点是可以直接测量距离和速度信息


毫米波雷达缺点:
(1)与微波雷达相比,毫米波雷达的发射机的功率低,波导器件中的损耗大
(2)行人的后向散射截面较弱,如果需要探测行人,雷达的探测阈值需要设低,其负面效应可能会有更多虚报物体出现。
(3)毫米波器件昂,现阶段不能大批量生产装备。

一些公司

2.4超声波雷达

自动驾驶(四十七)---------超声波雷达简介-CSDN博客

对温度敏感、超身边散射角度大

2.5惯性导航

自动驾驶传感器(六):惯性导航IMU原理 - 知乎 (zhihu.com)

惯性导航的基本工作原理是以牛顿力学定律为基础,通过测量载体在惯性参考系的加速度,将它对时间进行积分,且把它变换到导航坐标系中,就能够得到在导航坐标系中的速度、偏航角和位置等信息。 

3.传感器标定

计算机视觉基础——相机标定 - 知乎 (zhihu.com) 

传感器的标定效果将会直接影响下游感知、定位融合的应用。

也可参考我此片文章:

《多传感器融合感知技术笔记》之——2.相机标定_Akaxi_相机内参矩阵标定python的github-CSDN博客

使用工具包利用棋盘格对针孔相机进行标定,求相机的内参矩阵,畸变系数,并且还原校正后的相机图像。【使用了三种相机标定方法】

1.基于Python的OpenCV库进行摄像头的标定;

2. 基于Ubuntu系统ROS环境下使用棋盘图进行相机标定;

3. 基于Matlab应用使用棋盘图进行相机标定。

最重要的得到相机的标定参数

---------------------------------------------------正在看书喵-----------------------------------------------------

2023.3.10

渝北仙桃数据谷

这篇关于【自动驾驶系列丛书学习】2.《自动驾驶汽车环境感知》学习笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/798502

相关文章

Java中的Opencv简介与开发环境部署方法

《Java中的Opencv简介与开发环境部署方法》OpenCV是一个开源的计算机视觉和图像处理库,提供了丰富的图像处理算法和工具,它支持多种图像处理和计算机视觉算法,可以用于物体识别与跟踪、图像分割与... 目录1.Opencv简介Opencv的应用2.Java使用OpenCV进行图像操作opencv安装j

mysql-8.0.30压缩包版安装和配置MySQL环境过程

《mysql-8.0.30压缩包版安装和配置MySQL环境过程》该文章介绍了如何在Windows系统中下载、安装和配置MySQL数据库,包括下载地址、解压文件、创建和配置my.ini文件、设置环境变量... 目录压缩包安装配置下载配置环境变量下载和初始化总结压缩包安装配置下载下载地址:https://d

SpringBoot项目启动后自动加载系统配置的多种实现方式

《SpringBoot项目启动后自动加载系统配置的多种实现方式》:本文主要介绍SpringBoot项目启动后自动加载系统配置的多种实现方式,并通过代码示例讲解的非常详细,对大家的学习或工作有一定的... 目录1. 使用 CommandLineRunner实现方式:2. 使用 ApplicationRunne

将Python应用部署到生产环境的小技巧分享

《将Python应用部署到生产环境的小技巧分享》文章主要讲述了在将Python应用程序部署到生产环境之前,需要进行的准备工作和最佳实践,包括心态调整、代码审查、测试覆盖率提升、配置文件优化、日志记录完... 目录部署前夜:从开发到生产的心理准备与检查清单环境搭建:打造稳固的应用运行平台自动化流水线:让部署像

gradle安装和环境配置全过程

《gradle安装和环境配置全过程》本文介绍了如何安装和配置Gradle环境,包括下载Gradle、配置环境变量、测试Gradle以及在IntelliJIDEA中配置Gradle... 目录gradle安装和环境配置1 下载GRADLE2 环境变量配置3 测试gradle4 设置gradle初始化文件5 i

Springboot的ThreadPoolTaskScheduler线程池轻松搞定15分钟不操作自动取消订单

《Springboot的ThreadPoolTaskScheduler线程池轻松搞定15分钟不操作自动取消订单》:本文主要介绍Springboot的ThreadPoolTaskScheduler线... 目录ThreadPoolTaskScheduler线程池实现15分钟不操作自动取消订单概要1,创建订单后

python实现自动登录12306自动抢票功能

《python实现自动登录12306自动抢票功能》随着互联网技术的发展,越来越多的人选择通过网络平台购票,特别是在中国,12306作为官方火车票预订平台,承担了巨大的访问量,对于热门线路或者节假日出行... 目录一、遇到的问题?二、改进三、进阶–展望总结一、遇到的问题?1.url-正确的表头:就是首先ur

Java汇编源码如何查看环境搭建

《Java汇编源码如何查看环境搭建》:本文主要介绍如何在IntelliJIDEA开发环境中搭建字节码和汇编环境,以便更好地进行代码调优和JVM学习,首先,介绍了如何配置IntelliJIDEA以方... 目录一、简介二、在IDEA开发环境中搭建汇编环境2.1 在IDEA中搭建字节码查看环境2.1.1 搭建步

Spring使用@Retryable实现自动重试机制

《Spring使用@Retryable实现自动重试机制》在微服务架构中,服务之间的调用可能会因为一些暂时性的错误而失败,例如网络波动、数据库连接超时或第三方服务不可用等,在本文中,我们将介绍如何在Sp... 目录引言1. 什么是 @Retryable?2. 如何在 Spring 中使用 @Retryable

在 VSCode 中配置 C++ 开发环境的详细教程

《在VSCode中配置C++开发环境的详细教程》本文详细介绍了如何在VisualStudioCode(VSCode)中配置C++开发环境,包括安装必要的工具、配置编译器、设置调试环境等步骤,通... 目录如何在 VSCode 中配置 C++ 开发环境:详细教程1. 什么是 VSCode?2. 安装 VSCo