使用OpenCV来实现自动驾驶中的车道线检测

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”

---

作者：Dt Pham

编译：ronghuaiyang

导读

这是一个非常简单通用的pipeline，很有参考价值。

在这个项目中，我使用Python和OpenCV构建了一个pipeline来检测车道线。该pipeline包含以下步骤：

• 相机校正

• 视角转换

• 颜色阈值和区域掩码

• 寻找车道像素

• 测量车道曲线和曲率

• 在原图像上显示结果

1. 相机校正

当相机在现实世界中看到3D目标并将其转换为2D图像时，就会发生图像失真，这种转换并不完美。畸变实际上改变了这些3D物体的形状和大小。所以，分析相机图像的第一步，就是消除这种失真，这样你就能从中得到有用的信息。

有两种类型的畸变我们感兴趣：径向畸变和切向畸变。

为了校准相机，我们可以拍摄已知形状的照片并校正失真误差。这个任务最常见的拍摄对象是棋盘，因为它具有高对比度图案。

首先，我们需要使用我们的相机来拍摄大量的棋盘图像，并检测这些图像中的所有角点。这可以使用OpenCV的 cv2.findChessboardCorners()函数来完成。

cv2.findChessboardCorners()的结果

在这之后，我们使用cv2.calibrateCamera()来计算畸变系数。径向畸变有3个系数：k1, k2, k3 ，切向畸变有2个系数：p1, p2。畸变点坐标计算公式如下，其中r为未畸变图像中某一点到图像畸变中心的已知距离，畸变中心通常是该图像的中心(x_c, y_c)

径向畸变公式

切向畸变公式

畸变校正之后的结果

2. 透视变换

在这一步，我们将图像转换为鸟瞰图。它将使以后的步骤，如测量车道曲率更容易。要变换图像，我们首先需要从源图像上和目标图像上分别得到4个点，并使用函数cv2.getPerspectiveTransform()。当我们想通过cv2.warpPerspective()函数变换图像时，该函数计算一个出一个3x3的变换矩阵。

透视变换之前和之后的图像

3. 颜色阈值和区域掩码

HSV 和 HLS 颜色空间

HLS(色调，亮度，饱和度)是RGB模型的一种替代表示。HLS是圆柱形几何图形，具有色相，角度维度，是实际的颜色。亮度表示颜色中混合了多少白色(或黑色)的颜色，饱和度表示颜色中有多少灰色。饱和度值为0，表示大部分都是灰色。

车道线的颜色为白色和黄色，两者都有一定范围内的饱和度值。因此，我只选择饱和度值在该范围内的像素。此外，利用亮度通道过滤掉所有亮度值较小的像素，可以检测出白色。

Hue, 亮度和饱和度值

区域掩码是去除图像中不太可能包含线的部分的过程。我们可以看到，车道线主要出现在图片的下半部，因此，可以将图像的上半部分像素屏蔽以增加我们的准确性，因为图像现在只包含那些更加可能是车道线的部分。

4. 找车道线像素

下一步，我们需要分类哪些像素在左车道，右车道，或两者都不在。在此之后，我们将找到可以最好拟合所有左车道像素的多项式方程，以及另一个最好拟合所有右车道像素的方程。

首先，我在图像下半部分的所有列上对像素值做统计得到直方图。在我们的阈值二值化图像中，像素要么为0，要么为1，因此直方图中最突出的两个峰值可以很好地指示车道线基线的x位置。

我们可以用它作为搜索直线的起点。在这一点上，我们可以使用一个在图像中向上移动的滑动窗口(沿着路进一步移动)来确定车道线的去向。

使用滑动窗口检测车道线像素

5. 找到车道线曲线并度量弯曲度

我们已经估计了哪些像素属于左车道线和右车道线(分别用蓝色和红色表示)，并对这些像素位置拟合了一个多项式。我们可以用这个多项式来计算车道曲率的半径以及车辆距离车道中心的距离。

回想一下，我们已经找到了车道线的方程：

这是关于y的函数，而不是x的原因是，变换后图像中的车道线接近垂直，并且对于多个y值可能具有相同的x值。

这里的单位x和y是以像素为单位的，但是我们想将其转换为米来计算车辆的车道曲率和位置。假设2条线之间的距离在像素坐标中是700像素。在现实生活中，这个距离大约是3.7米。因此，水平方向上的每个像素相当于现实生活中的3.7/700米。我们设这个值为mx = 3.7/700。在垂直方向上做同样的操作，我们得到my = 30/720，表示每720个像素对应垂直方向上的30米。转可以这样做：

从像素坐标到真实世界坐标的转换

函数x=f(y)在任意点x处的曲率的半径为：

这很容易计算因为我们只需要计算函数的一阶和二阶导数。

接下来，我们想要计算我们的汽车到车道中心的距离。这可以通过计算车道中心和图像中心之间的水平距离(以像素为单位)来实现。在这之后，我们可以乘以常数mx 来转换为真实的距离。

6. 把结果显示回原图像

最后一步是将前一步的结果与原始图像结合起来。

为此，我们需要还原之前转换的透视图，并将输出图像放到原始图像之上。

原图 vs 输出图

总结

这种特殊的pipeline在正常和模糊的情况下工作得很好，在这些情况下车道线更难检测。然而，由于这个pipeline 的参数数量有限，因此在雨雪等极端条件下，它的稳定性不够好。

总而言之，只需将几个算法放在一起，我们就可以创建一个检测车道线的pipeline。首先，我们校正相机失真。然后，我们将其转换为鸟瞰图，过滤掉图像中不相关的部分，并使用“滑动窗口”找到车道像素。“最后，我们计算了车道的方程，并测量了车道曲率。

代码：https://github.com/Dt-Pham/Advanced-Lane-Lines

—END—

英文原文：https://medium.com/@dt99.pham/self-driving-car-finding-lane-lines-7f7312997a6f

请长按或扫描二维码关注本公众号

喜欢的话，请给我个在看吧！