自动驾驶定位算法:基于多传感器融合的状态估计(muti-Sensors Fusion)

本文主要是介绍自动驾驶定位算法:基于多传感器融合的状态估计(muti-Sensors Fusion),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

自动驾驶定位算法:基于多传感器融合的状态估计(muti-Sensors Fusion)

image

附赠自动驾驶学习资料和量产经验:链接

1、传感器(Sensor)选取

自动驾驶系统中用于状态估计(State Estimation)的常用传感器包括GPS/GNSS、IMU、激光雷达(Lidar)。

image

状态估计(State Estimation)选用传感器需要考虑哪些因素:

1)误差不相关性。也就是说,用于Sensor Fusion的传感器其中单个传感器(Sensor Measurement)测量失败,不会导致其它传感器(Sensor)由于相同的原因而同时失败。

2)传感器的相互补充性。 比如IMU可以填充GPS两次定位间隔期间的定位输出,用于平滑GPS/GNSS的定位结果;GPS为IMU提供初值,消除IMU单独使用出现的偏移(Drift)的问题;Lidar可以弥补定位精度的问题,而GNSS可以为Lidar定位地图匹配提供地图范围数据。

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

2、传感器的标定(Sensor Calibration)

如果想要各个传感器能够相互协同,无间配合,传感器的标定是必不可少的。传感器的标定通常分为三种: 内参标定(Intrinsic Calibration)、外参标定(Extrinsic Calibration)和时间校准(Temporal Calibration)。

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

2.1 内参标定(Intrinsic Calibration)

传感器或者车辆的内参在传感器制造的时候就已经固定下来,传感器模型中的固定参数都是内参,都需要通过Intrinsic Calibration事先确定。

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

比如估计车辆运动距离的轮速计模型 �=�� 中,r就一个内参。另外激光雷达(Lidar)中扫描线的角度,在激光雷达计算模型中需要事先知道这个参数,以实现激光雷达扫描线(Scan Line)的拼接。

如何获取传感器的内参呢?实践中有几种方法:

1)从传感器制造商的使用说明书中获取。这种方法往往只能获取大概的参数,每个设备的内参都是不同,所以并不能获取比较精确的参数。

2)手工测量内参。比如车轮的半径,可以通过手工测量的方法获取。但是类似于激光雷达的内参无法通过手工测量获取。

3)Estimate as part of State。这种方式不仅可以获取精确的传感器内参,而且可以解决内参随时间变化的情况。比如汽车的轮胎半径漏气导致半径变小等。

2.2 外参标定(Extrinsic Calibration)

传感器的外参主要表达各个传感器之间的位置相对姿态,它是把各个传感器的数据坐标统一起来的必不可少的参数。

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

如何获取传感器的外参呢?实践中有几种方法:

1、CAD图纸。如果你能获取传感器安装的CAD图纸,那你就可以获得比较准确的传感器外参。

2、手动测量。当然手动测量的难度也非常高,因为传感器的中心往往在传感器内部,难以精确测量。

3、Estimate as part of State。这也是一个研究的方向。可以比较好的应对外参标定问题,但难度也比较高。

2.3 时间校准(Temporal Calibration)

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

时间校准对于各个传感器的数据融合至关重要。比如IMU的输出频率是200HZ,Lidar的输出频率是20HZ,只有按照最相近的时间进行对齐,才能将IMU和Lidar数据准确融合起来。

在实际应用中,各个传感器的相对时间误差是未知的,这些误差可能是由于各个传感器的预处理耗时不同导致的,也可能是由于各个传感器的计时器精度不同造成的。

如何校准传感器的时间呢?实践中有几种方法:

1)假设这些传感器的时间相对误差为0。当然忽略这些误差,会导致最终的融合结果比预期要差。

2)硬件同步。在硬件设计上保证各个传感器的时间戳对齐。

3、EKF-多传感器融合(Multi-Sensors Fusion)

image

自动驾驶汽车一般包含多个Camera、3D 激光雷达(Lidar)、惯性测量单元(IMU)、多个Radar、GPS/GNSS Reciver、轮速计(Wheel Odmetry),这些传感器在运行过程中时刻都在以不同的频率发送不同类型的数据,多传感器融合模块需要将这些信息融合起来,不断更新自动驾驶车辆的状态(Vehicle State)。多传感器融合进行状态估计(State Estimation)的流程如下:

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

车辆运动模型(Motion Model Input)如下,它的信息一般来自于IMU,包含x、y、z三个方向上的加速度和角速度,是一个6维向量。

image

车辆运动模型的计算过程如下:

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

为了应用EKF,我们定义Error State如下,其中 image 是3x1的矩阵。

image

EKF的Motion Model如下:

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

EKF中的GNSS测量模型:

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

EKF中的Lidar测量模型:

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

这里假设激光雷达(Lidar)的测量结果和GNSS的测量结果都在同一个坐标系下(注意,实际情况下,需要经过坐标变换才能达到这种效果)

EKF的IMU+GNSS+Lidar多传感器融合流程如下:

1)Update State With IMU Inputs

image

2、Propagate Uncertainty

image

3、当有GNSS或者LIDAR测量结果到达时,进入步骤4),否则进入步骤1)。

4、计算GNSS/Lidar的卡尔曼增益(Kalman Gain)。

image

4、计算Error State。

image

5、Correct Predicted State。

image

6、Compute Corrected Covariance。

image

4.状态估计(State Estimation)的精度需求(Accuracy Requirements)

不同的应用场景对State Estimation的精度的要求不同,比如高速场景下的Lane Keeping一般要求亚米级级精度。如下图所示的场景,车辆宽度为1.8m,机动车道宽度为3m,所以车辆两侧有约60cm的冗余空间,在这种场景下,如果要实现Lane Keeping的功能,只要状态估计的精度小于60cm就可以满足实际应用的需求。

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

但在拥挤的城市道路交通场景下,对State Estimation的精度要求是越高越好,状态估计的精度越高,自动驾驶就越安全。

5、状态估计(State Estimation)的更新频率要求

以人类驾驶汽车为例,一个人开车过程中闭着眼睛,但为了保证行车安全,她每间隔1s睁开一次眼睛,以确定自己所在的位置。在空旷的道路场景下,1HZ的位置确认频率就可以保证,但是在繁忙的交通的道路上,1s确认一次位置的做法就非常不靠谱了。

但是,越高的定位频率带来的越高的计算资源消耗,而车载计算资源是有限的,并且还是感知、控制、决策、路径规划等所有功能共享的,所以在更新频率和计算资源之间需要有一个trade-off。

根据经验,15HZ-30HZ的状态更新的频率就能够满足自动驾驶的应用需求,当然在计算资源允许的情况下,状态更新(State Estimation)频率越高越好。

6、Sensor Failures

自动驾驶使用的传感器系统可能由于外部环境因素而失效,比如恶劣天气状况、硬件故障、系统连接线松了等等;也可能由于传感器自身的短板导致,比如GNSS在隧道场景下无法定位、在城市环境下定位的误差达到数十米,IMU容易收到温度变换的影响等。

即使在没有传感器异常的情况下,我们依然能够从多传感器的使用中收益。如下图所示,各个传感器的功能相互补充,构建安全的自动驾驶系统。

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

各个传感器各有所长,比如短距测量传感器可以在停车场景下,检测附近的障碍物,避免发生碰撞;中距测量传感器在车道保持场景下,检测周围的行人、机动/非机动车辆;长距测量传感器帮助我们检测和预测远距离障碍物的运动等等。在实际应用要充分考虑到这些传感器的长处和短板,并增加一定的冗余系统,保证在部分系统无法工作的情况下,仍然可以保证车辆的正常运行。

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

7、多传感器融合的代码实战

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

Couresas上的Multi-Sensors Fusion Project效果如下:

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

image

Coursera Lecture-State Estimation and Localization for Self-Driving Cars

参考链接:

https://medium.com/@wilburdes/sensor-fusion-algorithms-for-autonomous-driving-part-1-the-kalman-filter-and-extended-kalman-a4eab8a833dd​medium.com/@wilburdes/sensor-fusion-algorithms-for-autonomous-driving-part-1-the-kalman-filter-and-extended-kalman-a4eab8a833dd

https://www.coursera.org/learn/state-estimation-localization-self-driving-cars​www.coursera.org/learn/state-estimation-localization-self-driving-cars


这篇关于自动驾驶定位算法:基于多传感器融合的状态估计(muti-Sensors Fusion)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/884593

相关文章

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

pytorch自动求梯度autograd的实现

《pytorch自动求梯度autograd的实现》autograd是一个自动微分引擎,它可以自动计算张量的梯度,本文主要介绍了pytorch自动求梯度autograd的实现,具有一定的参考价值,感兴趣... autograd是pytorch构建神经网络的核心。在 PyTorch 中,结合以下代码例子,当你

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》:本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、

openCV中KNN算法的实现

《openCV中KNN算法的实现》KNN算法是一种简单且常用的分类算法,本文主要介绍了openCV中KNN算法的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录KNN算法流程使用OpenCV实现KNNOpenCV 是一个开源的跨平台计算机视觉库,它提供了各

SpringSecurity JWT基于令牌的无状态认证实现

《SpringSecurityJWT基于令牌的无状态认证实现》SpringSecurity中实现基于JWT的无状态认证是一种常见的做法,本文就来介绍一下SpringSecurityJWT基于令牌的无... 目录引言一、JWT基本原理与结构二、Spring Security JWT依赖配置三、JWT令牌生成与

Spring Boot项目中结合MyBatis实现MySQL的自动主从切换功能

《SpringBoot项目中结合MyBatis实现MySQL的自动主从切换功能》:本文主要介绍SpringBoot项目中结合MyBatis实现MySQL的自动主从切换功能,本文分步骤给大家介绍的... 目录原理解析1. mysql主从复制(Master-Slave Replication)2. 读写分离3.

springboot+dubbo实现时间轮算法

《springboot+dubbo实现时间轮算法》时间轮是一种高效利用线程资源进行批量化调度的算法,本文主要介绍了springboot+dubbo实现时间轮算法,文中通过示例代码介绍的非常详细,对大家... 目录前言一、参数说明二、具体实现1、HashedwheelTimer2、createWheel3、n

关于WebSocket协议状态码解析

《关于WebSocket协议状态码解析》:本文主要介绍关于WebSocket协议状态码的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录WebSocket协议状态码解析1. 引言2. WebSocket协议状态码概述3. WebSocket协议状态码详解3

微信公众号脚本-获取热搜自动新建草稿并发布文章

《微信公众号脚本-获取热搜自动新建草稿并发布文章》本来想写一个自动化发布微信公众号的小绿书的脚本,但是微信公众号官网没有小绿书的接口,那就写一个获取热搜微信普通文章的脚本吧,:本文主要介绍微信公众... 目录介绍思路前期准备环境要求获取接口token获取热搜获取热搜数据下载热搜图片给图片加上标题文字上传图片

SpringBoot中封装Cors自动配置方式

《SpringBoot中封装Cors自动配置方式》:本文主要介绍SpringBoot中封装Cors自动配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot封装Cors自动配置背景实现步骤1. 创建 GlobalCorsProperties