英国帝国理工大学计算科学学院最近邀请了一些AI领域的知名学者做了一系列在线讲座，加拿大Laval大学的教授介绍了AI在Auto IQ Tuning与成像系统设计方面的最新进展，值得Camera从业人员了解与关注。

传统机器视觉应用成像系统设计的方法基本是各自为政——即镜头、image sensor、isp，cv（NN）各模块的开发者都是以各自的认知优化自己的输出，从而期待得到最佳的结果。造成这种局面的原因是各模块的开发者分别有自己的专业而且彼此不了解，传统的IQ tuning工程师往往以Photography的IQ认知来组合并优化成像系统，这就是所谓的Piece-wise optimization的tuning 方式。对于human vision类的相机这种方法比较适用，但对于机器视觉而言，这种方法得到的结果并不是最优的。


机器视觉的开发者的‘调优’工作focus在ISP输出图像之后，即调整神经网络的权重系数w，使得Loss function达到识别目标的需要。ISP以及ISP之前的成像模块被其视为黑盒子，所以止步于此。


依靠专家IQ 工程师这种所谓‘’黄金眼“成像系统优化的方式已经不能适应越来越复杂的系统pipeline——从光学，sensor，isp到AI，系统的复杂程度已经远超以往。


为了适应这种需求，普林斯顿大学的学者提出了一种基于AI的端到端的成像系统设计优化方法。


所谓端到端，即从镜头到最终的图像或者物体识别结果，这种方案能够将镜头系统和整个成像pipeline的参数设置最优化，把现有的传统光学设计工具（例如 Zemax）、sensor model、isp model以及NN 模型集成到AI 优化的框架中。


传统方法的Tuning需要至少三个月，而这种方法只需要三个小时即可以Tune到更好的效果。


普林斯顿大学的实验基于Sony Imx246 图像传感器 model，ARM的Mali C71 Automotive ISP model，IR cutoff filter (specifications BFLY-U3-23S6C-C) ，曝光时间 5 ms，利用Zemax产生Compound Lens model，经过AI优化可以得到优于手工Tuning的结果。


为了验证AI优化方法设计的镜头


普林斯顿的学者找厂家按照这个设计生产了5个真实的镜头，组装sensor与ISP，真正做成了相机，然后比较新的设计方案与传统方案相机的机器视觉目标检测与图像质量，实测的结果证明了这一方案的优越性。



越来越多的公司和科研机构在持续投入Auto Tuning的研究与落地工作，相信在机器视觉比如车载ADAS，自动驾驶这种Metrics非常明确的领域Auto Tuning会率先落地，让我们拭目以待。

特别声明：本文转载自大话成像；如有侵权请联系删除。