IEEE P2020 white paper

IEEE-SA P2020 工作小组是为了说明人类与机械视觉对于Automotive Imaging system应用上的不同而建立的。如今并不存在一个合理的测试方法来满足机械视觉应用的测试需求；也就是说，对于ADAS来说，迄今为止并没有一个合理的测试手法与指标。随着自动化设备的普及化，ADAS系统与其他机械视觉应用，势必需要一个国际性的指标，来对其性能进行合理的测试。如果没有一个合理的指标，会因为这类系统的信息丢失，直接导致悲剧的发生。IEEE-SA P2020小组集结了OEM、T1以及影像测试的专家们共同讨论并制定相关的测试方法与测试仪器。

“The World Health Organization recently noted that more than 1.25million people worldwide die each year as a result of road traffic accidents and between 20 and 50 million more people suffer non-fatal injuries, with many incurring a disability due to their injury.”作为此工作小组一个重要的里程碑，在9月IEEE发布了第一份白皮书，上面重申了这个工作住的重要性。在白皮书上也列举了现阶段影像测试的标准，如IEEE Std 1858, EMVA1288以及ISO 12233，并说明这些标准在车载影像的使用上是有缺陷的。


上图显示了多相机的结构组成；对于ADAS系统来说，它包含给使用者观看的部分和机械视觉的应用。行车记录器，倒车辅助显示等这些需要直接给使用者观看的画面，在未来的研究中应该会被要求朝着同时兼顾影像体验Quality of experience（QoE）和涵盖所有必要的信息这两个目标执行。这些画面需要同时拥有显示必要信息的能力，同时还要满足使用者视觉上的视觉体验。即使有时候这两个要素并不是能够同时得到的，工作组还需要在以后的技术基础上，寻找到一个平衡点。而对于机械视觉来说，产品的构造组成（镜头、影像传感器、ISP等）与构造的参数需要优先考虑。所以我们需要把机械视觉与观察者所看的画面分开来进行讨论。

不管是给使用者看的系统或者是机械视觉分析用的系统都牵扯到许多的信息、辅助驾驶以及自动驾驶功能，需要第一时间的分析输入的画面来进行判断。所以IEEE P2020工作组会探讨一些有意义的KPI来评判这些系统的表现，以确保后续的系统能够稳定持续的工作。

在下图中，汽车工程师协会SAE针对驾驶系统进行了分级，根据不同的SAE等级对自动化的成都进行了划分。SAE等级越高，也代表系统要承担更多的责任：

參照IEEE P1858的标准CPIQ失败的经验——凡是一下子转换科学领域又涉及多种厂商的标准都需要花费非常长的时间。这次P2020采取多次发布，每一次发布都代表一个阶段性研究成果。而第一篇就是这篇于9月发表的IEEE-SA P2020的白皮书。
工作组主要是想通过这第一篇白皮书去：

第一，让大家意识到这些影像问题并没有一个结论。
第二，让大家知道IEEE P2020工作组正在做些什么。
第三，号召其他已经在研究此问题的学者们。
第四，吸引更多的人关注这个严肃的问题。

下面就让我们来看以下这个白皮书的具体内容：

IEEE P2020工作组按照不同的研究类别分为7个小组
Subgroup 0 -Image quality requirements/specifications standards
Subgroup 1 -LED Flicker standards
Subgroup 2 -Image Quality for viewing
Subgroup 3 -Image Quality for computer vision
Subgroup 4 -Camera subsystem interface
Subgroup 5 -Image quality safety
Subgroup 6 -Customer perception of image quality



这篇白皮书针对Subgroup1、Subgroup2以及Subgroup 3小组目前的进度进行一个阶段性的报告：


A.    Subgroup 1-LED flicker standards       LED闪烁标准小组
LED闪烁，从本质上来说其实是时间/空间的问题。但凡只要使用Pulse width modulated （PWM）信号的光源时，就会出现Flicker的现象。从上图中可看到，左边警示灯亮红灯，但是右边因为Flicker的原因没有拍到红灯。
其原因是因为红绿警示灯也是使用LED光源，较短的曝光时间内，我们可能抓不到闪烁的瞬间。

Flicker闪烁的影像不但会对人类的视觉产生直观的影响，让人烦躁。而同时还会导致信号灯的信息丢失，这些问题都是值得注意的。
另外，在未来的ADAS系统中，使用者需要观看许多显示器来获取信息，如果这些显示器是主要使用脉冲信号的话，也一定会受到Flicker的影响。
所以小组Subgroup1主要的任务就是：

1.    列出Flicker的根本原因以及根本表现。
2.     拍摄Flicker潜在影响的照片，找出可能出现的情况
3.     为Flicker effect制定KPIs与测试方法
4.     根据视觉体验来调整客观指标
5.     根据机械视觉来调整客观指标


B.    Image Quality for viewing 供观察者观看的IQ部分
这个小组主要负责制定包括后视摄像头、摄像监控系统CMS以及环绕摄像头等等的KPIs。
上面这张图，图B对于观察者来说有着更大的可视范围与更少的噪声，但是A图的物体能够分辨的较清楚。这个工作组的工作就是在这些具体使用情况中，找到一个使用者观察与机械视觉的平衡点。他们将面临几种挑战，分别是：鱼眼镜头的分辨率问题、HDR问题、多镜头影像结合问题、分布式系统、多用摄像头（指同时兼顾使用者与机械视觉的画面），外在因素，视频性能问题、亮度问题。
又例如环绕式视觉系统SVS的拼接问题。上图左边的部分可以清楚的看到拼接的缝隙，而右图的周围能够看到信号下降的现象。

在目前拥有的IQ标准中，计算指标的一个主要的前提就是输出的结果要是线性化的结果；包括计算OECF以及校正相关的非线性系统。但是典型的车载相机系统都是配有HDR以及Local Tone Mapping，并不是一个线性的系统。在严格控制参数的情况下，这些线性输入信号还是能够使用，但对于一些特殊的自动化应用，例如，有HDR场景的情况，这些数值就不大适用了。许多的KPI是通过线性化的关系来推倒的，一个不能适用的OECF数值对于这些参数来说，同样会让他们无法被适用。也就是说针对ADAS系统来说，有些指标已经不适合再使用了。

所以第二小组目前的工作会放在针对目前KPI的使用情况与复杂性去改进，或寻找新的KPIs。
首先他们会针对：动态范围、灵敏度、景深、对焦稳定性以及暗电流这几个方面来执行。


C.    Subgroup 3-Image quality for computer vision 机械视觉IQ组
对于ADAS系统来说，这个小组绝对是最主要的一个小组之一。在未来，汽车自动化的程度会越来越高，相对与人类观察者来说，机械以后在行驶上会有较多的控制权。因此，机械视觉的影像品质就尤为重要。如过去的EMVA 1288，我们对于机械视觉应该得到的影像品质，渐渐的被人们所定义。这个工作组主要是对于机械视觉影像制定标准以及KPIs。


在影像生成的过程中，需要经过很多的环节，并且在每个环节都可能出现对影像的干预。例如上图，在行驶进隧道的瞬间，一抹光线瞬间造成了Flare 的影响，而这个瞬间对于机械来说是感知不到右边的车体的。在高速行驶的过程中，任何的信息丢失都有可能造成致命性的问题。

再来说多重曝光合成高动态范围的影像。上图显示了关于HDR多图合成的问题，为了得到高HDR而采取多重曝光模式，但是在拼合处会出现SNR忽然降低的情况。
上面的图像中我们拥有足够的纹理细节，足够的动态范围，然而依然会出现问题。因为影像中的SNR遂降的情况，而导致路上的线条判定会出现误差或问题。这对于ADAS系统控制高速驾驶的机动车来说，会产生不可预料的影响。
但是，如果去减少这些SNR的影响，我们就会得到较小的动态范围（144db-120db）。所以传统的动态范围的概念对于ADAS系统固然重要，但是对于机械视觉来说，并不是一个能说明问题的数值。

为此，IEEE P2020工作组的Bosch工程师制订了一个CDP的概念，同时Bosch联合德国的影像工程公司开发了测试CDP（Contrast Detection Probability）的测试仪器，ADAS综合测试台。这个设备同时也在AutoSens会议上被颁发了最具創新硬件奖项。“This is essential for the future safety of autonomous vehicles and is also recognized by the IEEE P2020 standardization project.”來自AutoSens奖项负责人Robert Stead。从这句话来看，这个创新发明对于未来的测试来说是非常重要的。它不但支持现阶段的CDP的测试，还同时兼顾以后的MMP、CSP测试；这些标准可能会在未来的白皮书阶段性的发布。
此奖项代表了在近期的设备中，对未来在感知车辆技术的发展最具有影响力的设备。（如有兴趣联系sales@rdbuy.com购买）

在white paper的最后说明了ADAS系统的特殊性，并且列举了过去的IQ KPI，以及他们测试ADAS系统的缺陷：


 

*若需要清晰的表格可以去IEEE P2020官网，下载相关白皮书。
https://www.techstreet.com/ieee/standards/ieee-white-paper?product_id=2021273
文章参考 IEEE-SA P2020 White paper，图片同样来源于此文件。

更多精彩内容尽在研鼎商城-“应用”：