Emilie Baudin1, Franc¸ois-Xavier Bucher2, Laurent Chanas1 and Fr´ed´ eric Guichard1
1: DXOMARK, Boulogne-Billancourt, France
2: Apple, Cupertino, CA, USA
摘要
视频的拍摄越来越普及。消费类电子设备的技术进步带来了视频质量的提高并带来以社交媒体以及人工智能应用所展示的新的使用方式。设备制造商和用户都有比较不同的摄像头的需要。这些设备可能是智能手机、汽车部件、监控设备、单反相机、无人机、运动型摄像机等。虽然目前已有静态图像的质量标准和测量协议，但仍需要视频质量的测量协议。这需要包括从照片协议中改编的部分，特别是关于时间的层面。本文提出了一种综合的对整个视频采集和编码通道进行客观评价的硬件和软件测量协议，并对其进行了实验验证。
导语
图像质量的测量评估的研究已经相对比较完善。已有好几个ISO标准，以及IEEE-P1858 CPIQ标准[3]。Baxter[1]和 Jin[5]等描述了具有JND mapping/主观比较的CPIQ度量。其它的图像客观质量测量与主观观测或者JND映射的关系也已被研究发表了。例如，He[2]等提出了一种基于人类感知为尺度的客观曝光质量的测量方法。
对于运动图像，所有静态图像质量度量都可以应用于单个视频帧以进行初步的评估。然而，光照变化在视频中非常常见，需要对不同时间的表现进行评估。从室内走到室外，拍摄灯光会不断变化；汽车驶出隧道或在具有不同光源下的场景中移动时，灯光也会不断变化。在本文中，我们考虑的是用户相机在自动模式下使用的情况。相机必须根据环境自动调整所有参数。曝光、白平衡和颜色是静态图像最明显的品质特征；这也同样适用于视频，我们也需要评估这些属性在光线变化期间的收敛性。此外，照片中存在的一些伪影也存在于视频中，但它们对整体感知的影响是不同的。例如，时间层面的噪声可能带来不同于空间层面的噪声的感受，因此必须对其进行单独测试。
视频编码和传输引起的图像质量的影响以及与Mean Opinion Score (MOS)的关联已被VQEG广泛研究[10][11]。这些测量不会评估任何编码前的步骤，也不包括拍摄条件，因此它们不能作为全面的视频质量测量协议。视频质量在时间层面上已经开始研究；例如，Oh等人进行了自动曝光适应的感知研究[8] 。据我们所知，目前还没有一个与视频图像质量主观感知相关的测量协议。
这项工作的目标是提供一个视频质量客观评估的测量协议，可以可靠地比较不同的摄像机。它应能够对相机进行分级排序，其顺序应与最终用户的分级排序相同。在本文中，我们关注三个和时间相关的指标：曝光收敛、颜色收敛和时间视觉噪声。
这项工作的新颖之处在于包括了一个联合设计硬件（闭环控制照明、定制图卡等）和软件，以提供视频质量测量协议的整体方法。这能够测试代表真实用例的不同照明条件（室内、室外、低光）。另外，测量是在自动模式和最终用户角度进行的，因此测量协议包括整个视频采集和编码（光学、传感器、ISP、编码解码器）。
提出的指标
大多数静态图像的质量指标可以通过独立处理每个帧，然后对相关信息进行统计从而应用到视频上。例如，我们可以计算视频每一帧的相关度量，并将平均值应用到整个序列。因此，我们可以测量目标曝光、白平衡、静态色彩还原性、纹理保留、空间视觉噪声、调制传递函数（MTF）、渐晕、振铃、畸变和横向色差。这些指标在Analyzer的解决方案和其它方案中提供。
在本文中，我们只关注视频质量评估的时间层面：环境光转换时的曝光和颜色收敛，以及稳定光下的时间视觉噪声。所有测量均在受控照明条件下的定制图卡上进行。
光照变化时的曝光和颜色
当场景中的灯光发生变化时，光照的变化对于视频质量是一个很大的挑战。在拍摄光线不断变化的情况下，比如从室外走到室内或从室内到室外，驶出或驶入隧道时都会出现这种情况。在自动模式下，设备需要根据光线的变化调整曝光和白平衡，由此产生的过渡可能会让使用者感到不适。在本节中，我们将提出评估光照变换时的自动曝光和自动白平衡性能的指标。
测试环境
图1.DXOMARK视频光源系统
对于静态图像质量测量，DXOMARK使用设计用于室内的ALS光源。该系统设计用于在不同亮度值和光谱下产生非常稳定、精确和连续的照明。但是，它无法模拟快速的照明变化。例如，荧光灯管需要几秒钟才能从1000lux切换到10lux。这就是为什么我们设计了一个专用的视频光源，如图1所示。该光源可产生1lux到2000lux的照度，色温范围为2300K到2800K。它还允许在不到100ms的时间内进行亮度的上下阶跃，以及在几秒钟内收敛的亮度和色温渐变。
我们在一个DXOMARK装裱了X-rite ColorChecker Classic图卡上执行测量，如图2所示。该指标在CIELAB 1976颜色空间[6]中进行计算，并以D65作为白点。对于图卡的每一个色块，我们计算平均L*、Δa*b*和ΔH*。我们以18%灰色块上的L*值作为目标的曝光量。灰色块上的Δa*b*和ΔH*值作为白平衡和色调误差，而所有或色调（蓝色、绿色、肤色等）色块的Δa*b*值作为色彩还原。
图2. DXOMARK装裱的爱色丽ColorChecker Classic图卡
亮度阶跃
亮度阶跃发生在场景中的灯光突然变化时，例如在黑暗的房间中拍摄时，灯光突然亮起。设备会呈现出一个非常突然的变化，且在自动模式下，它必须对此作出反应。对于每一个测量的值（例如L*），我们要评估它收敛的速度、平滑度和准确度。为此，我们定义：
 
收敛时间           收敛到稳定值所需的总时间。
收敛差              收敛值误差，相对于过渡前的值的比较值。
首次收敛时间      第一次达到收敛值的时间。
振荡时间           第一次达到收敛值后，数值收敛到稳定值所需的时间。
过冲                 振荡期间的最大过冲。
 
这些概念如图3所示。
图3.亮度阶跃收敛：术语定义
在包含光照变换的视频序列中考虑一个值v（例如L*、ΔH*或Δa*Δb*值）的收敛性。首先，如之前描述，在所有视频帧的ColorChecker图卡上测量v。然后，我们检测过渡开始的时间（在v的导数上设置一个阈值）和收敛时间（在标准差和v在变化过程中的斜率设置阈值）。我们还计算了在过渡前后一个稳定周期内v的中值。
亮度和色温渐变
在本节中，我们考虑亮度和色温在数秒内变化的渐变。当在包含多个光源的场景中移动时，例如在既有窗户又有人造光源的房间中行走时，可能会发生这种情况。与上一节中描述的步骤的不同之处在于，连续帧之间的变化相对较小。有些设备反应平稳及时并对其作出适当的响应，而有些设备反应是滞后的（这会在之后产生突然的变化或振荡），或者根本不适应。为了评估这些参数，我们定义了以下指标：
振幅           转变过程中变化的幅度。
振荡强度      对随时间变化的信号进行稳定性评估。恒定信号的振荡强度为0；该强度随信号中振荡的数量而增加。振荡强度是平均值在大、小积分窗上的差值
其中
v是L*或ΔH*或Δa*b*值，T是视频的持续时间，TS和TL分别是小和大积分窗口时间。
时间视觉噪声
静态图像的视觉噪声已在IEEE1858[3]和ISO15739[4]中进行了定义。虽然这些标准应该提供良好的主观相关性，但W¨uller [12] 等提出，虽然一般公式是有效的，但仍需确定度量的参数。利用适当的参数集，这些度量可以独立地应用于视频帧，并且可以将平均值或标准差应用于整个视频序列。
然而，由于传感器上的光子噪声是随时间变化的，因此时间噪声会再叠加到空间噪声上。形成的闪烁现象会导致使观看者感到不适，也会影响注意力。据我们所知，关于视频视觉噪声，目前还没有提出测量方案，也没有关于感知相关性的研究。本节的目标是根据对现有视觉噪声测量进行改编，以测量视频时间噪声。
测试环境
我们使用DXOMARK Visual Noise图卡，如图4所示。该图卡符合ISO14524:2009的OECF测试图卡。它具有更大的灰阶块，可以处理通常比照片分辨率小的视频分辨率。我们考虑1lux到1000lux的不同亮度和2300K到6500K的不同色温下持续补光的情况。
图4.DXOMARK Visual Noise图卡
时间视觉噪声度量
时间视觉噪声度量在CIELAB颜色空间中进行计算[6]。对曝光和白平衡进行补偿，以将时间噪声从其他的显著的影响因素中隔离出来（曝光偏移，白平衡偏移等）。时间噪声方差σL*、σa*和σb*为时间方差（某个像素点对所有帧）的空间平均值（在整个色块的像素上）。由于计算的原因，方差是用Welford’s的在线算法计算的[7]。由于噪声依赖于亮度，这些方差是在七个不同反射率的ROI上计算的。为了比较不同曝光的不同设备，需要进行归一化处理：我们对所有色块的测量CIE-L*值进行插值，并计算L*=50的噪声方差，这是正确曝光帧的平均值。
最近一项关于静态图像的感知研究[12]表明，感知测量值与噪声方差加权和的平方根有很好的相关性。在对视频进行类似研究之前，我们将所有权重设置为1，并将时间视觉噪声（TVN）定义为：
请注意，这是正确曝光的色块的每个像素与其平均值之间的平均欧几里德距离。
用户对亮度和色噪声的感知不同，用户往往对色噪声更敏感。亮度和色度噪声的去噪算法也不同。为了评估噪声的颜色，我们将时间噪声色度（TNC）定义为：
结果
亮度
图5.对于OnePlus 6T，从250lux增加到1000lux，从1000lux下降到250lux，连续帧上的18%灰的变化
在综合测试场景下测试了多个设备，包括不同照明条件（低光、室内、室外）下照度增加和减少的情况（从20lux到1000lux）。对于每个光照变换，我们在18%灰色块上测量上一节中定义的曝光收敛指标。图5显示了一个设备对在250lux和1000lux之间照度增加和减少两种情况的响应。图6显示了三种设备的曝光收敛：短收敛时间、长收敛时间和过冲。它们是收敛形式和我们数据集时间的典型代表。
 
图6.不同的设备对光照从1000lux降到25lux的响应
（从左到右：OnePlus 6T，0.5s收敛时间，无过冲；Honor View 10，1.6s收敛时间，无过冲；Vivo NEX，0.6s收敛时间，12(L*)过冲）
图7.不同程度地增加和降低亮度的收敛时间，小（振幅<200lux）和大（振幅>600lux）
图中呈现了几种设备对不同程度地增加和降低亮度的，大的（大于600lux）和小的（小于200lux）的收敛时间。这两类涵盖了所有需要测试的转换。大约一半的设备收敛时间小于0.6s。例如，Vivo NEX的收敛时间在所有转换中都在0.4s左右。对于其他设备，在大的和小的变换之间的表现有很大的变化。例如，Honor View 10对于大的转换的收敛时间是小的转换的两倍。一般来说，光照增加的收敛时间比光照减少的收敛时间大。对于某些设备来说，这种差异是非常明显的，特别是对于三星Galaxy J5和A8在大的光照变化时。可以在图8中看到这种差异。

图8.三个设备在变换过程中CIE-L*值的变化：光照增加(250lux 到1000lux)以及(1000lux到250lux)光照减少情况下的对比
注意，收敛时间不足以完全衡量一个设备的性能，特别是一个设备应该收敛到一个合适的曝光值。图9显示，三星Galaxy A8的收敛速度非常快，但没有收敛到合适的亮度值。
图9.两个设备在30lux到10lux变换中CIE-L*值的变化
亮度和色温渐变
我们已经测试了不同的设备对光照强度和色温渐变的响应。在本节中，我们将重点讨论两种渐变下的白平衡Δa*b*的变化。这两种渐变是测试的典型代表：
 
渐变T1       15s渐变，从日光变换到日光+钨丝灯光，
渐变T2      15s渐变，从钨丝灯光变换到H光。
 
其中
 
日光           1000lux，6500K，
钨丝灯光      2000lux，2800K，
H光           100lux，2300K
 
图10显示了在T1和T2渐变中观察到的所有不同变化。所有设备对T2的反应比对T1的大。OnePlus 6T和苹果iPhone XS Max完全对T1变换进行了补偿。对T2变换，虽然与T1相比有更多的振荡， OnePlus6T还是对大部分的渐变过程进行了补偿。另一方面，在T2变换过程中，苹果iPhone XS Max没有对光照变换进行补偿，并且有很大的振幅变化。在苹果iPhone 8 Plus的两个转换过程中都可以看到大的幅度的变化。我们可以看到，在这两个变换中索尼Xperia 1对白平衡的纠正有一定滞后，这造成了突然的变化。这些可以被视为振荡。
图10. T1（蓝线）变换以及T2（绿线）变换过程中ColorChecker灰块Δa*b*的值
这些观察结果和其他被测设备的结果可以在图11中的振幅变化和振荡大小中看到。一般来说，无论是考虑振幅变化还是振荡大小，设备对T2变化都有较大的反应。
图11.T1变换以及T2变换过程中白平衡Δa*b*值的幅值变化以及振荡程度
噪声
图12显示了等式3中定义的时间噪声方差和华为P20在不同亮度值下的时间噪声色度。我们可以看到，时间噪声随着亮度的降低而增加，而在强光下噪声色度明显降低。
图12.不同光照条件下华为P20的时间噪声
在图13中，每个像素的强度与在1，100和1000lux下18%灰上的L*的时间噪声方差的对数成正比。它说明了我们上面的观察结果，即在弱光下，时间噪声更大。我们也可以观察到时间噪声伪影。首先，我们可以看到视频解码器应用去块滤波器[9]的网格上存在较少的时间噪声。我们还可以看到，在1lux时，一些像素非常亮，这意味着它们对光非常敏感，并随着时间的变化有很大的变化。在图14中，每个像素的颜色饱和度与图13中相同块和相同光照条件下的a*和b*的时间方差的对数成正比。我们可以看到噪声色度随着亮度的降低而增加。
图13.华为P20在1,100,1000lux时的18%灰每个像素的亮度噪声
图14. 华为P20在1,100,1000lux时的18%灰每个像素的色噪声
图12中的时间色度是噪声总量中的色噪声比，时间噪声方差是所有信道上的总噪声。我们可以将它们与图13和图14中的图像关联起来，如下所示。在1000lux时，亮度噪声的图像是暗的，并且颜色噪声的图像不是很饱和，因此时间噪声和时间色度都很低。在100lux时，亮度噪声几乎相同，但色度噪声的图像比1000lux下的图像更饱和。因此，时间色度大于1000lux时的色度。在1lux处，我们可以看到颜色噪声和亮度噪声都比在明亮光线下的噪声大。这就是为什么1lux的时间噪声更大，但是1lux和100lux的时间色度是相同的。
结论
这项工作有利于发展一个具有可复制的硬件、软件、测试协议和技术报告生成综合测试环境。它已经在许多智能手机上进行了测试，包括高端、中档和入门级设备。它可以更好地了解设备在视频质量方面的局限性。这些技术报告可用于制定策略，以帮助相机制造商提高视频质量，并发布在DXOMARK的网站上。他们提供了可以让消费者和制造商比较摄像机的客观测量。
虽然这些指标的设计并不是针对智能手机视频，但在未来工作中，它还需要在其他类型的设备上进行测试，包括单反相机、汽车摄像头、运动摄影机。在单反相机上，由于像素节距较大，我们期望会有很好的噪声性能，但在光变换时曝光和颜色表现较差，因为数码单反并没有为此进行优化。对于汽车相机来说，光变换时的性能对于应用来说是至关重要的，制造商能够对其进行测试也是很重要的。
尽管很难对视频进行主观分析，但仍需要更多的工作将这些测量与主观分析关联起来。
免责声明
这项工作完全由DXOMARK员工完成。被列为合著者的前雇员只在DXOMARK/DxOLabs工作时才作出了相关贡献。
Reference
[1] D. Baxter, F. Cao, H. Eliasson, and J. Phillips. Development of the I3A CPIQ spatial metrics. In Image Quality and System Performance IX, volume 8293, page 829302. International Society for Optics and Photonics, 2012.
[2] Z. He, E. W. Jin, and Y. Ni. Development of a perceptually calibrated objective metric for exposure quality. Electronic Imaging, 2016(13):1–4, 2016.
[3] IEEE. IEEE 1858-2016: IEEE Standard for Camera Phone Image Quality. Standard, 2016.
[4] ISO. ISO 15739:2017: Photography – Electronic still-picture imaging – Noise measurements. Standard, 2017.
[5] E. W. Jin et al. Towards the development of the IEEE P1858 CPIQ standard – A validation study. Electronic Imaging, 2017(12):88–94, 2017.
[6] G. A. Klein and T. Meyrath. Industrial color physics, volume 154, chapter 3, pages 141–148. Springer, 2010.
[7] D. E. Knuth. The Art of Computer Programming, volume 2: Seminumerical Algorithms. Addison-Wesley, Boston, 3 edition, 1998. p.232.
[8] S. Oh, C. Passmore, B. Gold, T. Skilling, S. Pieper, T. Kim, and M. Belska. A framework for auto-exposure subjective comparison. Electronic Imaging, 2017(12):202–208, 2017.
[9] I. Rec. H. 264: Advanced video coding for generic audiovisual services. ITU-T Rec. H. 264-ISO/IEC 14496-10 AVC, 2005.
[10] A. M. Rohaly et al. Video Quality Experts Group: Current results and future directions. In Visual Communications and Image Processing 2000, volume 4067, pages 742–753. International Society for Optics and Photonics, 2000.
[11] M. Shahid, A. Rossholm, B. L¨ovstr¨om, and H.-J. Zepernick. Noreference image and video quality assessment: a classification and review of recent approaches. EURASIP Journal on image and Video Processing, 2014(1):40, 2014.
[12] D. Wueller, A. Matsui, and N. Katoh. Visual noise revision for ISO 15739. Electronic Imaging, 2019(10):315–1, 2019.

文章来源：DXOMARK