Fade：一种单目彩色视觉与雷达数据融合的车辆检测与跟踪系统

Fade：一种单目彩色视觉与雷达数据融合的车辆检测与跟踪系统
Fade : A vehicle detection and tracking system featuring monocular color vision and radar data fusion

Abstrcat

主要创新在于low-level fusion system
在每一步，对于每一个目标，融合系统融合四种不同的图像处理算法和雷达信息的结果。通过自动组合12个不同的特征，产生许多可能的目标位置建议
它生成了一个由三层组成的belief network：source、position proposals和correlation between proposals.
使用推理算法，通过推断哪些观测值是错误的，找出目标的实际位置。
整个系统是实时运行的，并根据实际车辆中记录的各种情况进行了评估。

Intruduction

其想法是使用相当经典的“on average”可靠的观测算法，并集中精力从这些算法和雷达信息之间的合作中获得最大收益，然后采用一种“diagnostic-like”的方法来发现这些源是错误的。

General architecture

融合的步骤：1.temporal data alignment（同步数据）；2.data association（数据关联）；3.target tracking（estimation of the state of targets）(Kalman Filter)

融合系统告知目标位置，在图像上获得感兴趣区域（获取数据关联的基本方式）
在Fade中，四个视觉模块在可能的目标上提供了非常低级的信息，例如“目标＃的左侧阴影的位置”，而融合模块本身通过结合这些不同的提示，尽力找出目标的位置。

举例来说，阴影检测可以为每个目标提供两条信息：阴影的左边缘和阴影的右边缘，根据光线的不同，可能不提供，提供一个或两个条件和目标位置。 雷达检测可以提供两个信息片段：目标的纵向位置及其横向位置。 将阴影信息之一与雷达给出的纵向位置结合起来可能非常有趣 。事实上雷达的横向位置质量较差，正如从双边阴影得到的纵向距离。雷达纵向距离准，shadow横向距离准。

The fusion system

在我们的融合系统中，我们有意决定专注于推理技术，而不是使用平均技术（最小二乘，加权平均），以便对目标位置产生更准确的结论：我们确实假设某些检测是错误的，并且该位置 这些错误的发现提出的建议是我们必须摆脱的。所以需要比较他们并计算他们之间的相互关系。
这些各种考虑因素使我们进入了一个原始的融合体系结构，该体系结构分为三层：来源，建议和相关性。我们在融合的每个步骤为每个目标生成因果结构(causal structure)（有时称为信念网络belief network）
举例：我们只有两个传感器，即雷达和阴影检测，它们产生4个数据源（xRadar，.yRadar，leftShadow和rightShadow），我们将在图2中构建因果网络。

Proposals computation

从传感器和图像处理传递的所有信息源开始，我们可以计算出关于目标在地面上的位置(x,y)的一组假设。 信息源之间的组合可能非常多，因此我们创建了一种算法以自动生成所有可能的位置候选
来自视觉模块的所有信息都对应于目标的不同点：它们可以对应于汽车的左前，汽车左后边缘，右前，右后或中间位置。 因此，可以将收集到的所有不同信息源分为7个不同类别，如图3所示。

这些类别中的某些类别可以组合在一起以生成位置建议
例如，可以将分类为“纵向位置”的源与分类为“横向位置”的源相关联，从而自然得出完整的建议。 更复杂：一个分类为“全局左边缘”的源（例如，检测到的左阴影）可以与分类为“后中间”（例如，检测到的对称轴）的源相关联。
为了从这两个来源生成建议，我们使用目标模型拟合（target model fitting）的原始方法组合两个来源，如图4所示。实际上，来自视觉模块的任何信息源都是目标的“垂直”特征。该特征的反投影会产生一个垂直于或几乎垂直于地面的平面。 然后可以将目标的简单“盒”模型拟合到这两个平面，从而提出目标位置的建议。
这种建议计算方法的最大优点是结果几乎与地平面约束无关。 无论如何，这种估计的结果不能非常准确，因为横向上一个像素的变化会产生较大的位置差。 但是，我们通过大量不同的建议来平衡这种不准确性：所有这些位置的融合最终产生了一个位置，即使该位置与通过真遥测仪测得的测量相比仍然较差，其准确性也很高。

猜测这个方法是图像上的两条垂直线可以得到雷达平面的两条射线，因此可估计位置

Inference in belief networks

一旦我有了一个可以准确表示我们传感器之间相互作用的信念网络，我们就必须判断哪个才是真正的目标位置
使用基于SPI的MAIS系统解决这个问题。
推理算法的结果是每个提议中的后验。 然后，仍然有几种选择：要么只考虑具有最强信念的提议，要么计算所有命题之间的加权平均值。 在进行了许多测试之后，我们得出的结论是，后一种解决方案更加令人满意：它可以确保观察之间的连续性更好，同时由于数据融合推理而保持非常活跃。

Conclusion

Fade具有融合系统，能够融合来自雷达和一组图像处理算法的信息。 与独立雷达相比，Fade的主要优势在于能够检测左右车道上的车辆，其更好的横向精度以及通过检测转向灯来预测其他车辆行为的能力。
该系统以25帧/秒的速度实时运行。 在长达1分钟的开发场景中，该系统具有相当敏锐的提示和超大的城市通行能力，该系统会检测到所有车辆并发出一个轻微的错误警报，这比仅雷达产生的警报要好得多。 目前，正在对Fade系统的69种选定场景进行评估，这些场景呈现出各种情况，例如超车，车辆插入，尖锐的坡道和坡度。 竖琴前的结果显示出总体良好的行为。
该系统的进一步改进包括与导航系统和车道检测系统的结合，这两个系统都可以告知车辆实际位置，即是否在我们的轨迹上。 我们还正在研究加入自行车和行人检测算法。