三维成像技术为各行各业带来了革命性的变化，提供了先进的深度感知和空间理解能力。在这些技术中，飞行时间（ToF）照相机因其能够实时捕捉深度信息而脱颖而出。ToF 相机利用测量光线往返于场景中的物体所需的时间这一原理，以惊人的速度和精度提供深度数据。ToF 摄像机具有帧频高、测量范围宽、适用于室内和室外环境等特点，非常适合应用于机器人、汽车、增强现实和生物识别等领域。然而，尽管 ToF 相机具有诸多优点，但也容易出现某些伪像，例如飞行像素，从而影响深度图像的质量。要优化 ToF 摄像机的性能并确保在各种应用中进行可靠的深度传感，就必须了解导致飞行像素的因素并实施有效的缓解策略。
什么是 "飞行像素"？
飞行像素是一种错误的深度读数，在 ToF 相机生成的 3D 点云中表现为虚假像素。它们通常出现在场景的深度不连续处，尤其是物体边界。来自前景和背景的光线可能会在边缘处结合，产生中间错误的深度值，导致出现鬼影像素。虽然在深度映射图像中并不总是很明显，但在三维点云中却很明显。
图 1显示飞行像素的 3D 点云立视图
与飞行像素有关的因素
1、光圈大小
镜头光圈的大小决定了到达传感器的光线质量。这一因素在成像系统设计中至关重要。例如，在弱光条件下，建议使用大光圈镜头，因为它能让更多的光子到达传感器，从而提高图像亮度和质量。不过，增大镜头光圈也会减小相机的景深。它还可能增加出现飞行像素等伪影的可能性，尤其是在物体边界附近。
2、曝光时间或积分时间
飞行时间（ToF）照相机的像素需要一定的时间才能从观察到的场景中收集到足够的光线，这个参数被称为曝光时间或积分时间（texp）。在这段时间内，相机的位置和方向以及观测到的目标最好保持不变。在 Texp 过程中，摄像机和场景之间的任何移动都会导致每个像素观察到来自不同目标的光路。这种现象会导致对物体边界深度的估计不准确，从而产生运动伪影和飞行像素。
3、其他红外辐射源的干扰
由于受到其他红外线（IR）光源的干扰，如阳光、以相同波长和频率工作的其他照相机发出的红外线或发射类似波长红外线的外部设备，可能会出现飞行像素。这种干扰会破坏飞行时间（ToF）照相机的工作，影响其准确感知深度信息的能力，导致出现飞像。
4、像素大小
飞行像素的另一个原因是 ToF 传感器中的每个像素都有一定的物理尺寸。在测量物体边缘时，单个像素会同时接收前景和背景反射的光线。这会导致不同距离的深度信息叠加，从而产生包含中间深度的原始传感器数据。
飞行像素对嵌入式视觉应用的影响
飞行像素，即飞行时间（ToF）相机生成的三维点云中的错误深度读数，会对嵌入式视觉应用产生重大影响。这些应用包括各种利用摄像头和视觉传感器执行物体检测、识别、跟踪、导航等多种任务的系统和设备。
在嵌入式视觉应用中，极光移动机器人（AMR）在从送货和巡逻任务到远程呈现和自动自主除草等任务中发挥着至关重要的作用。这些机器人通常依靠嵌入式摄像头捕捉周围环境的图像，帮助完成障碍物检测和目标识别等任务。捕捉到的图像和视频通常由边缘处理器进行处理，以便对其进行分析，从而做出智能决策。错误的深度数据点或飞行像素会造成对环境的不准确感知。因此，AMR 可能会将飞行像素视为障碍物，并根据这一错误信息做出决策，从而可能避开实际上没有障碍物的路径。虽然删除飞行像素可能会导致数据丢失，但这对确保 AMR 决策过程的准确性至关重要。过滤掉这些错误像素有助于防止 AMR 根据错误的障碍物判定做出错误的决策。因此，尽管可能会丢失一些数据，但过滤飞行像素对于在各种环境下保持 AMR 运行的可靠性和有效性至关重要。
消除飞行像素的不同方法
我们讨论了导致深度感知不准确并可能影响依赖 ToF 摄像机数据的应用性能的几个因素。值得注意的是，在以均匀表面为特征的场景中，飞行像素是不存在的，或者说是微乎其微的。多样化的滤波和后处理技术使 TOF 摄像机能够可靠地生成三维点云，并在存在飞行像素的情况下提高性能。在此，我们将讨论一些用于消除飞行像素和提高三维成像系统可靠性的方法：
1. 后处理滤波器
后处理滤波器是应用于二维深度图像的基于软件的技术，用于去除飞行像素。深度不连续滤波器和其他常用滤波器（如中值滤波器）就是其中的一种。
a. 深度不连续滤波器
 深度不连续滤波器的工作原理是利用像素与其邻近像素的深度不连续。如果一个像素与其邻近像素的深度差异较大，则该像素被视为飞行像素。该过滤器可以识别并去除此类像素，从而提高深度图的整体质量。
图2 无深度不连续滤波器
图3 有深度不连续滤波器
图 2 展示了在没有深度不连续滤波器的情况下生成的深度图，显示了飞行像素。相比之下，图 3 显示了应用深度不连续滤波器的影响，从而生成了更精确的深度图，减少了飞行像素。
b. 中值滤波器
中值滤波器分析相邻像素的深度值，并排除与中值偏差较大的像素。这种滤波器基于用户定义的阈值，如果中值与最近邻近像素的差值超过阈值，就会被排除在外。通过减少异常值，中值滤波器可以有效抑制飞行像素对最终深度图的影响。
后处理滤波器的优点
 (1)与基于硬件的方法相比，处理速度更快
 (2)有效抑制飞行像素，同时保留有效的深度数据。
 (3)可提供高质量图像，减少无关数据。
后处理滤波器的挑战
 (1)这些滤波器的帧频取决于主机的配置。
 (2)可能无法完全消除复杂场景中的所有飞行像素。
2. 基于硬件的方法
由于飞行像素源于 ToF 相机的光学流水线，其中包括各种光学元件和负责光收集和处理的流程，因此修改这些元件需要仔细考虑，以保持总体光通量和信噪比。基于硬件的方法包括修改相机的光学系统或传感器设计，以减少飞行像素。
Mask TOF
Mask TOF 通过在传感器像素和微透镜之间插入微透镜掩膜来增强相机流水线。通过减少杂散光路，Mask TOF 有效地减少了飞行像素，提高了深度感应精度。
图4 
Mask TOF 的优势
(1) 为每个像素提供定制的光圈配置，减少飞行像素。
(2) 在不牺牲总体光通量的情况下，提高了深度感应精度。
Mask TOF 的挑战
(1) 需要修改硬件，因此在某些应用中不那么实用。
(2) 在所有情况下，过滤后的结果可能不如基于软件的方法有效。
软件和硬件方法在去除 ToF 相机数据中的飞行像素方面都发挥着重要作用。虽然后处理滤波器能快速有效地去除飞行像素，但基于硬件的方法能提供更有针对性的解决方案，但可能需要对相机软件进行重大修改。

上海研鼎可以为您提供关于ToF相机的测试设备及图像质量分析软件，详情请咨询sales@rdbuy.com。