无论在手机摄影还是在机器视觉领域，Depth Imaging技术都越来越广泛地被采用。比如在手机相机领域，需要实现人像摄影背景虚化、图像增强甚至AR的功能，这就需要高密度、高精度的depth map，用来实现object/background 分割。

现在流行的生成depth map的硬件有Time of Flight （TOF)sensor，双/多目或者叫立体视觉相机（Stereoscopic camera），结构光sensor，phase difference（PD)像素，以及这些技术融合等。对机器视觉、车载这些应用来说，还有Lidar，Radar等技术方案。

客观评价depth imaging的性能是图像质量评价领域的一个新的课题，评测指标也因应用领域的需求不同有所不同。Dxo 提出了手机相机depth map的评测方法，从depth map使用者的角度：比如depth map与rgb图像的对齐精度，深度一致性，对不同目标纹理产生深度信息的健壮性等角度进行评测。这些测试指标和测试方法值得大家学习，即使对其他领域，比如机器视觉和车载这些领域，也有参考价值。
 
以背景分割和深度一致性为指标的深度信息图主要存在三个质量问题：
1.边缘的偏移，即深度图与原始图存在边缘偏移。
2.深度信息不完全，即有些体积小的物体在深度图上没有信息。
3.对不同纹理的物体深度信息的敏感度。
4.深度信息准确性
5.深度信息规则性（regularity）
 
以背景虚化（Bokeh）这种应用为例，DXO设计了这样的一种chart进行测量，前景有人脸以及不同纹理的反射面，背景是一定距离远处的其他纹理的chart。

深度图如下：
人头附近错误的深度信息逐渐出现。很多孔会与背景混为一体。
 
DXO解释了chart中的每个元素的设计目的


从编号1 到10， 表示chart中的设计要素
 
1：三角孔 易产生的错误：滤波错误造成对小物体的误检。
2：不同大小的孔 易产生的错误：漏检或者或者弄混小孔。
3：棋盘格易产生的错误：重复性的图形造成错误的深度信息。
4：纹理条纹 易产生的错误：由于纹理变化造成深度信息不连续。
5：黑白条 易产生的错误：反射率变化造成深度信息不连续。
6:  人脸   易产生的错误：人脸检测在某些情况下干扰深度信息。
7：字符 易产生的错误：极端对比度情况下的滤波问题。
8：标识符号 用来自动图卡检测
9：王冠 易产生的错误：滤波问题，错位检测细小物体
10：对齐标识

Chart的前景与背景的距离，chart与待测设备之间角度，以及前景背景的照度均需根据待测设备镜头的焦距等指标进行调整，这样才能在比较不同光学指标的设备时保证公平。
对于Bokeh这种应用来说，只需要有前景和背景，并且前后景都是平的即可。对于需要得到绝对深度信息或者评价深度信息精度的应用来说，就需要在前后景之间不同距离插入不同的物体。
 
线性度评价：
对于‘分割’这类应用，只关心深度信息图的相对精度，深度信息不需要与距离直接相关。这时候需要保证深度数据的单调性与连续性，通过把groundtruth 投影到深度空间，可以得到深度基准。
深度信息与groud truth的偏差记作深度误差，用红色表示，如下图所示，可以看到红色的errorarea，测试者可以很直观地发现错误的位置。

除了depth error，dxo 还引入平面error，用来标记具体特征区域的误差。

边缘分割：
理想的边缘是一个快速的深度过渡区域，一边是前景一边是背景。最理想的情况就是过渡区只有一个像素。
DXO的评价方法是先把深度图通过bilinear 插值，然后把得到的图与RGB图进行对齐，然后用sobel filter获得更为准确的边缘，xt记作理想的边缘，n代表实际测得的边缘像素宽度，x_edge记作测得边缘的位置。
 
基于梯度的三个测量指标：
Pixel shift （PS)是测量的边缘与实际边缘的平均距离。

均值不能体现出outlier的影响，所以标准差也要参考，记作

相对梯度Relative Gradient （RG） 也被计算出来，它可以体现出前后景过渡区的变化率，如下图所示。
前边的这三个参数可以体现出是否有背景像素被错误地显示在前景的深度图中。

基于直方图的测量指标
这些指标可以更精细地分析深度信息的分布。
Pixel Reparitition（PR）是前后景深度直方图峰值的偏差，如下图所示

洞检测
洞的部分的深度信息应该与背景相同，但是由于滤波造成的深度信息误差在实际深度图中非常常见。DP用来计算给定的洞的区域的深度计算错误最大值

Dij 是当前点的深度，Dfg 是前景深度，Dbg是背景深度。

对于有梯度的洞，DXO 引入Contour Coverage （CC）这个指标来测量不完整的检测。
DP与CC的实测结果如下图
对于三角形的洞，DXO用visible Height这个指标来计算在等分线上可视像素比例。

DXO给出了一些具体的测量数据示例，如需购买此方案，请联系sales@rdbuy.com。