本文主要是介绍《3D ISP核心技术算法》系列(1)——ToF测量中的多径现象与消除方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
《3D ISP核心技术算法》系列文章是上海数迹智能科技有限公司结合自身多年来在3D ISP技术方向上的积累,推出的系列型科普文章。系列文章将对影响3D成像质量的主要问题逐一进行讲解,深入浅出的介绍问题出现的原理机制和解决方法,旨在促进3D视觉从成像到感知的应用工程实践,真正实现慧视界、智未来。
本篇文章作为该系列的第一篇文章,将对iToF在复杂场景下的最主要环境误差源之一的多径误差进行介绍。
多径是无线通信领域中一个常见术语,具体含义是指无线电信号从发射天线经过多个路径抵达接收天线的传播现象。各分量相互叠加,会导致信号的衰落和相移,对系统造成不良影响[25]。ToF向场景中主动发射(近)红外光,传感器接收场景中对应目标的反射光信号,利用(近)红外光的飞行时间计算深度。由于光在场景中会发生多次反射与折射,每个像素接收的信号包含多个路径的反射光,面临相似的多径问题,导致深度测量的误差。
目前的ToF设备根据测量原理的不同,分为dToF和iToF两类。虽然多径现象是发生在场景中,但是由于测量原理的不同,多径对两类ToF的影响不一样,呈现出来的误差形式也不一样。dToF每个像素对曝光时间内所有接收信号的飞行时间做直方图统计,多径虽然会改变直方图的分布,从理想的单峰分布变成多峰分布。但是直达径信号对应的柱仍然会是峰值,dToF的多径消除方法只需要排除多个干扰项。对于iToF而言,每个像素把所有的接收信号当做一个合成信号处理,经过一系列非线性计算得到一个深度值,无法从该深度值中直接恢复出正确深度值。所以,iToF的多径消除更加困难。此外,由于dToF的研究起步晚,市面上的产品较少,dToF的数据获取比iToF更难。因此,目前关于多径的研究大多数都是基于连续正弦波调制的iToF(CW-ToF)。
本文围绕iToF展开,介绍多径的影响、成因以及消除方法。在多径的消除方法部分,我们主要调研了2011-2018年关于多径的论文。由于篇幅限制,在文中展开介绍了其中具有代表性的4篇。感兴趣的读者可以根据本文最后的参考文献自行查阅,有问题可以联系我们,一起交流,共同探讨。
首先,让我们先来了解一下理想的iToF成像原理。
iToF相机向目标场景发射调制光,并由传感器接收目标场景反射回来的调制光,通过计算发射光和反射光的相位差来计算每一个像素点到相机的距离。理想的iToF成像满足如下假设,发射信号在场景中只经过一次反射,传感器的接收信号只包含一次反射光和环境光,如式(1)所示。
其中,是接收信号的幅值,是环境光分量,就是发射信号和接收信号的相位差。由于相位差无法通过一次测量直接获得,常见的相位差求解方法是Four-Sampling-Bucket算法[1]。该算法首先计算参考信号和接收信号的自相关 ,参考信号是发射信号经过相位移动τ后得到的信号。
然后对 采样,取3-4个值就可以计算出相位差。通常是四次采样,
得到相位差之后,结合式(4),就可以计算深度:
前文提到,理想的iToF成像假设发射信号在场景中只经过一次反射。然而,实际的成像过程中,光线会在场景中发生多次反射和折射,这也就意味着实际接收信号可能包含若干(甚至无数)个子信号,
其中, 项对应的是直达径(direct path),剩下的 项则是对应的间接路径(indirect path),也就是多径干扰成分。通过四次采样计算得到的相位差也不再是式(3)所描述的,而是如式(6)所示:
最简单的多径模型是Two-path模型,反射信号中只有一个直达径和一个多径分量,如式(7)所示:
多径现象在ToF测量中始终存在。
这篇关于《3D ISP核心技术算法》系列(1)——ToF测量中的多径现象与消除方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!