多年来，如同许多手机和影像行业的制造商与其他组织机构，DXOMARK所使用的实验室图像质量客观测试方案已经越来越精密，使我们能够在可控制且可重复的环境中评估各种不同的图像质量属性 。
不过，运用其他方案来补充实验室的客观测试，好让测试结果的质量更为完善是有原因的。
现今的手机图像系统非常复杂且结合了越来越多的内容感知处理，所以，与过去的传统相机相比，场景内容会大大的影响图像的结果。举例来说，机器学习技术可用于检测场景中的主体，同时改善AF追踪功能，尤其是场景中有宠物时，更是如此。因此，针对尽可能广泛且涵盖着尽可能多用例的场景进行图像质量的评估，是很重要的。在实验室中可以设置各种各样不同的条件（光线的类型、勒克斯级别、场景内容），然而，即使是最高端精密的实验室设备，仍无法全面体现真实生活中千变万化的情境。
客观测试旨在分析定义明确的属性。每一代新的机种都引入了新的图像处理算法和技术，且图像结果可能包含了难以料想的不可预测元素。像是因帧堆叠所产生的重影伪像或是不实的纹理损失，而这类的伪像只有在最近几代的机种中才出现。我们不可能事先就能为这些新生成的伪像设计客观测试，因此我们需要替代方案来处理那些难以预见的状况。
在大多数情况下，我们的客观测试结果可体现出真实生活中的经历，但并非总是如此，而感知评估可以让测试结果更为完整。感知测试能够补充实验室的客观测试，并确保可检测到相机所有无法预测到的性能；同时能含括更多的场景和拍摄条件，使我们的测试协议更为广泛，以便我们能取得并分析更多图像质量的数据。实质上，感知测试让DXOMARK Camera 测试协议更为确实且可靠。
什么是感知测试？
让我们先厘清：感知分析与主观分析是不同的。感知分析是由测试人员来评测图像的质量属性，他们以严格的方法确保无偏倚的结果能与通过客观测试方法所取得的结果相同。DXOMARK的所有感知测试都是由在该领域具有多年经验且可说个个都是图像质量专家的工程师和技术人员所进行。
DXOMARK的感知分析方案包括两个部份：
拍摄准则定义了我们需要测试哪些拍摄场景，以及如何准确地拍摄每个场景的图像。
分析准则定义了哪些图像的质量需要分析，以及要如何准确的执行分析。
这些准则必须符合以下的要求：
中立性：感知分析的结果是来自于每位个别的测试人员，也就是说，不同的测试人员在评估同一机种时所得的结果必须相同，且所有机种所进行的测试和分析程序也必须完全一样。
相关性：感知分析必须着重在消费者和摄影师所关切的图像质量。
可靠性：感知分析必须在个别的拍摄条件（例如，天气或光照条件）下进行，并能可靠地提供一致的结果。
全面性：感知分析在测试机种时，必须测试该机种需评估的所有图像质量属性。
我们的感知测试是由图像质量专家将受测机种的图像与数款参考机种的图像进行比较并评估。

范例
尽管客观测试可以提供关于相机图像质量的大量信息，但我们必需加上感知测试来处理相机性能的不可预测性，使测试协议更为广泛，以便涵盖尽可能多的拍摄状况，让DXOMARK Camera的最终分数更为有意义。让我们来看看一些图像质量属性的例子，这些例子是以感知测试补充客观测试所得的结果。
曝光
为了客观地测试曝光，我们在实验室中使用了一系列测试图来在受控条件下重现尽可能多的拍摄场景。我们使用从几乎完全黑暗到非常亮的一系列不同的光照水平进行测量，并使用几种类型的光源来模拟日光，钨和荧光灯照明。
DXOMARK曝光测试图
我们用于评测曝光的实验室测试图，包括各类型的用例，而这些用例涵盖了各种光照的条件以及不同的对比度。我们不断努力地扩大客观测试的范围，但在实验室中，不可能完全体现出所有的光照状况，这也是为什么我们设计了补充性的感知测试，以评估相机在高对比度的户外场景或逆光人像等这类挑战性大的场景中所呈现的性能。
我们使用DXOMARK感知数据库中广泛的真实场景来评测户外和室内的曝光度，所有的场景都必须遵循准确的拍摄和取景指示。
DXOMARK户外数据库示范图像
DXOMARK室内数据库示范图像

让我们仔细瞧瞧一些图例，以了解感知测试是如何让我们的客观测试更臻完美。在下图中，您可以看到苹果 iPhone XS Max的曝光在客观测试下的结果。在亮光和室内光照环境中，测试的结果相当不错，只有在低光下测到一些曝光不足的情况。
苹果 iPhone XS Max，曝光分析

上述的客观测试结果，在我们感知数据库真实场景的测试结果中，也得到相当多的印证。我们所测试过的XS Max几乎在任何户外和室内环境中都能呈现出准确的曝光，如以下三个图示：
然而，在进行我们的感知测试方案时，我们发现XS Max的曝光系统拙于应付一些较不寻常且具挑战性的场景，像是明亮背景中位于前景阴暗处的主体。下列的户外图例中，主体位在阴影处且占画面的比例相当小，背景有明亮的天空，远处有次要的主体（埃菲尔铁塔）。对于任何曝光系统来说，这都是一个很难应付的场景。不过，三星Galaxy Note 10+ 5G 处理的效果明显优于iPhone，让位于前景的主体呈现出更好的曝光度。
以下的室内场景所发生的状况也很类似。如同前述的例子，相机必须处理逆光中的前景主体，只不过，下例的主体在画面中占据了更多的空间。如果背景没有出现大量的高光剪贴，位于明亮背景中的主体就很难呈现出良好的曝光度。但正如您所看到的，华为P30 Pro对付此难题的表现比XS Max好得多。
这两个曝光例子的场景元素相似，都未能涵盖在实验室的任何测试标准中，不过，多亏了感知测试，让我们能够检测到上述图例中的曝光问题。
色彩
我们使用标准化的ColorChecker图表进行我们的色彩客观测试。在拍下测试图像后，我们会测量18个彩色色块的色度和饱和度，并使用图表底部的6个中性色块检查白平衡色偏，再以椭饼图框标示。在饱和度、色度和白平衡上表现最好的测试结果会落在绿色椭圆框线内，表现最差的则会显现在红色椭圆框线外。

诸如ColorChecker之类的测试图表所包含的色彩有限，这就是为什么我们要使用真实场景来补充我们的客观测试，并扩充所拍摄及分析的数据量。
如同曝光，色彩的客观测试与感知测试的结果，大部份的时候会是一致的。在下面的图例中，您可以看到亮光下，三星Galaxy S10 +大多数的数据点都出现在绿色椭圆框内，也就是说，它在实验室的测试图像中显现的是中性白平衡。而DXOMARK感知数据库的真实场景也证实了这一点。
然而，由于实验室场景无法涵盖所有真实生活中的情境，因此，客观测试和感知测试的结果有时并不完全吻合。例如，白平衡图表显示出，苹果iPhone XS Max在亮光下的白平衡会明显偏绿，但在真实场景所拍摄的照片中，并不会一直都那么明显。午后的户外人像照稍偏暖但仍可接受，而埃菲尔铁塔照片的白平衡就相当中性。

对许多相机来说，混合光源的情况也是难以应付的另一种复杂场景，因此使用感知测试来扩大测试的范围及涵盖数种混合光源的场景，是确保DXOMARK的结果与真实生活体验相符的好方法。
自动对焦
我们在实验室中以特制的设备进行DXOMARK自动对焦客观测试，此设备包括了以枯叶图为对焦目标，以及我们将数码相机触发器和通用定时器同步化的自动重新对焦触发器。我们把重新对焦触发器放置在相机和对焦目标之间，在两次拍摄之间散焦，然后将重新对焦触发器移开，再进行测试。我们将重新对焦触发器设定在延迟500毫秒后拍摄，接着在低光条件下以延迟2000毫秒重复相同的测试。
实验室中自动对焦测试的设置

此测试旨在评测相机多久才能对焦、对焦时所需的时间以及重新对焦的性能。我们使用好几种光源并在不同的光照水平下进行这些测试。
我们的自动对焦感知测试能涵盖拍摄时的其他情况，包括不同的拍摄距离、光照的方向或动态范围以及其他参数。
让我们来看看几个例子。下列您可以看到 小米Mi CC9 Pro尊享版、华为Mate 30 Pro和三星Galaxy Note 10+ 5G，在亮光下自动对焦客观测试的结果。
三款手机在自动对焦测试中均有出色的表现。

如您所见，这三款手机的性能都非常好，在触发快门后极短的延迟时间（不到100毫秒）内即可呈现出清晰的结果。我们可以通过感知测试检测到系统功能无法如常发挥的那些少数情况，举例来说，如下面的图例中，被摄主体与摄像头的距离较远时，小米Mi CC9 Pro尊享版倾向于对焦在背景上，而该手机所具有的大型图像传感器也稍微加剧这样的状况，因此景深也相对较窄。华为Mate 30 Pro和三星Galaxy Note 10+ 5G所呈现出的主体都很清晰且对焦清楚。
在近距离时也可能发生错误。拍摄以下场景时，小米和三星的摄像头都正确的对焦在主体上；但有意思的是，在这种特殊情况下，华为Mate 30 Pro的摄像头则对焦在背景上，而不是位于前方的两人。总而言之，可以说在实验室中的测试结果良好，就代表着整体自动对焦的性能佳，但在某些具有挑战性的用例中仍有可能会有对焦错误的状况发生。
其他具有挑战性的场景包括像是宠物这类复杂（且可能会移动）的主体、困难的高对比度场景或逆光场景、可能会运用到景深效果的团体场景，以及尽可能需要对焦在多个主体时。
下面的团体照是用华硕ZenFone 6所拍摄，ZenFone 6将对焦放在距离摄像头最近的人像上，结果使得主体后方的团体失焦。较好的解决方法是将对焦放在距离摄像头第二近的主体上，以便能对焦到尽可能多的元素。右图则是用三星Galaxy Note 10+ 5G所拍摄的，可以看到Note 10+ 5G的对焦系统被非常复杂的场景给搞混了，结果对焦到较亮的背景，而不是位于前方的宠物。
纹理和噪点
我们同样在实验室中使用枯叶图进行纹理和噪点的评测。我们测量实际在枯叶图案上的纹理，并在周围的灰色色块上测量噪点，同时使用各种光源及1至1000勒克斯的光照水平下进行测试。但是，尽管这些测试条件各不相同，仍未能涵盖到许多用例，例如，高对比度场景或运动中主体的纹理，还有纹理和彩色图像区域上的噪点等等。
让我们来看一下纹理评测的图例。在我们实验室中的测试结果显示，在明亮和亮度中等的光线下，小米Mi CC9 Pro尊享版呈现的细节水平比华为Mate 30 Pro和三星Galaxy Note 10+ 5G来得高。
纹理的客观测试结果比较

从下面的真实场景图例中可看出，小米手机确实比华为和三星明显呈现出更好的细节。不过，亮光下，Mate 30 Pro和Note 10+ 5G的差异比客观测试结果的差异还大。在这种情况下，客观测试的结果在比较机种时，能提供准确的优劣顺序，但在下列特定的示范场景中，是无法得知彼此间的差异有多少。通过客观测试与感知评估的相辅相成，我们会微调结果并考虑分析更广泛的场景。
HDR场景是另一个感知测试有助于让测试结果更确实且可靠的好例子。目前纹理的客观测试适用于低对比度和中对比度的场景；在HDR场景与在低对比度场景所测得的纹理结果，可能有很大的差异，这就是为什么我们要使用感知测试来补充客观测试的原因。在下面的例子中，与对比度高的逆光照相比，华为P30 Pro能够在对比度低的室内照中捕捉到更多脸部的细节。
噪点测试的情况也差不多。下列的噪点客观测试结果显示，几乎在所有光照条件下（除了极亮光下），荣耀 V30和Mate 30 Pro所拍摄的图像中所呈现的噪点水平都低于三星 Galaxy Note 10+ 5G。
噪点的客观测试结果比较

我们感知数据库中的许多场景已经验证了客观测试的结果，像是下面的室内图像。荣耀和华为在此场景中呈现的低噪点水平差不多，三星则明显出现更多的噪点。
移动中的主体是另一个很难在实验室中重现的用例。下图中，苹果 iPhone 11 Pro Max所拍摄的图像里，移动的骑单骑士比场景内的静态元素出现更多的噪点。对于这样的情况或许有种种的解释，最有可能的是需要以更快的快门速度来冻结场景中运动的画面。
移动中的主体是另一个很难在实验室中重现的用例。下图中，苹果 iPhone 11 Pro Max所拍摄的图像里，移动的骑单骑士比场景内的静态元素出现更多的噪点。对于这样的情况或许有种种的解释，最有可能的是需要以更快的快门速度来冻结场景中运动的画面。
结论
那么，这篇文章到底能让您了解到什么呢？原则上，客观测试非常准确且效率佳，不过，感知测试能够通过扩充测试场景的数量且可检测到难以预测或至今仍未知的相机性能，都有助于让图像质量的测试更为可靠且健全。因此，客观测试和感知测试这缺一不可的结合，确保了我们的测试结果更能贴近全球智能手机用户们的体验。