在本系列文章的前四篇中，我们探究了数字相机图像模糊的成因，回顾了成像质量的传统评价方法——鉴别率（resolving power）以及现代评价方法——光学传递函数，介绍了数字相机直边SFR测量技术与ISO 12233标准的演进。本篇文章将在前四篇的基础上，探索圆边SFR测量技术的原理与应用。   
1.广角镜头与畸变
在摄影、汽车、安防等应用中，常需要一幅图像覆盖尽可能大的视场，这就需要配置广角镜头的相机。我们知道，相机的基本原理是小孔成像，从几何视角看，这是一种直线（rectilinear）投影。直线投影的优点是，像与物的几何特征相似，不存在几何畸变。但其弊端是，像高h与镜头焦距f的比值为主光线角的正切（h=f · tan（θ）），当θ达到45°（视场角达到90°），该比值为1（像高与焦距相等），随着θ的继续增大，该比值将迅速增大，当θ趋近90°时（视场角趋近180°），该比值趋近∞。因此，直线投影无法实现180°及以上的视场角，在实际的相机中120°已是极限。小孔成像的另一个问题是，像面照度E正比于主光线角θ的余弦的4次幂 E=∝COS4 （θ）[2]，当θ=70°时像面照度E只有像面中心照度的约1.368%，当θ=80°时这一数字下降为约0.091%，这一现象称为光学渐晕[2]。显然，要拓展相机的视场角，就必然要解决上述这两个问题。径向负畸变常见于广角镜头，其本质是垂轴放大率随视场的增大而减小，体现为像面周边的像被压缩（图像四角向内收缩），形如储酒用橡木桶，因此也称桶形畸变。我们知道，照度是通量的面密度，如果将一定的通量集中在更小的面积上，照度将会增大。因此，径向负畸变不仅提高了像面边缘的照度，还可在既定的成像区域内容纳更广的视场。此外，若要突破直线投影180°视场角的限制，有必要引入新的投影模型，如等距（equidistant）投影、等立体角（equisolid-angle）投影、立体（stereographic）投影等[2]，其中等距投影是超广角及鱼眼镜头常使用的一种投影模型，其像高与主光线角呈线性关系，即h=f · θ。在既定的成像区域内，等距投影较直线投影容纳的视场角更大，因此，相对于无畸变的直线投影，等距投影产生的径向负畸变现象十分显著。  
图1 小孔成像（直线投影）模型的像面相对照度与主光线角的关系。主光线角为60°（视场角为120°）时，相对照度只有像面中心的6.25%，70°（视场角为140°）时，相对照度降至中心的1.37%。
图2 焦距相同时四种投影模型的比较。当主光线角由10°逐渐增加至110°时，直线投影模型的像高增加得最快。受图的面积限制，图中示出的直线投影模型最大主光线角为70°。主光线角为60°（视场角为120°）时直线投影模型的像高，如使用等距投影模型，对应的主光线角约为99.239°（可容纳的视场角约为198.48°）。 
图3 鱼眼镜头结构（a）、实物（b）及拍摄效果（c）
(a)图像来源：
https://commons.wikimedia.org/wiki/File:Isshiki_(1967).svg
(b)图像来源：
https://commons.wikimedia.org/wiki/File:FisheyeNikkor_Auto_6mm_f2.8_lens_2015_Nikon_Museum.jpg    
(c)图像来源：
https://commons.wikimedia.org/wiki/File:Wimbledon_Common,_Fisheye_view_of_woodland_near_Gravelly_Ride.jpg 
2.畸变与直边SFR   
发生畸变时，景物中的直线在图像中常常变为曲线，ISO 12233:2000标准的直边SFR计算方法无法准确拟合边缘的形状，造成计算失准或失败。为此，对畸变较为严重的相机进行直边SFR测试时，有两个常规思路。第一个思路是利用镜头畸变特性的反函数制作反畸变目标物，以保证相机拍照后得到的图像无畸变，然而，每一种相机对应镜头的畸变特性是不同的，需针对不同的相机分别制作反畸变测试目标物。第二个思路是利用图像处理方法，对图像做反畸变处理，或在SFR计算中使用更高级的拟合方法（如ISO 12233:2023标准引入的多项式拟合[1,3,4]），以便更好地兼容变形的边缘。然而，畸变不仅可改变边缘的形状，还可在一定程度上改变边缘的方向。虽然直边SFR计算结果基本不受边缘的方向的影响[5]，但边缘方向的改变仍然可导致三个问题：
1.有研究发现，将同一模糊的直边图像进行（15°以下）小角度倾斜时，SFR计算结果稳定，当倾斜超过15°（45°以下），SFR计算结果会出现中低频下潜或高频上扬的现象[6]；
2.改变后的边缘方向与目标测量方向不一致，虽然ISO 12233:2023引入了对边缘方向的补偿[7]，但相机的镜头及成像器的性能并不是各向同性的，故倾角过大时，测量结果不能如实反映相机在目标方向上的性能；
3.当改变后的边缘方向接近0°/45°/90°/135°时，无法提供直边SFR所需的不同相位，也就无法形成过采样的边扩散函数或线扩散函数，可导致计算失败。
图4 （顺时针倾斜5°的）正方形（a）与圆形（b）通过视场角为220°的广角镜头（使用等距投影模型）于不同视场、不同方位角成像后的边缘轮廓，可见投影模型带来的影响。图示结果为计算得到。
图5 （顺时针倾斜5°的）正方形（a）与圆形（b）通过视场角为220°的广角镜头（使用等距投影模型）在方位角36.87°（宽高比为4:3的图像格式的对角线方向之一）时，于不同视场（物方主光线角分别为0°/20°/40°/60°/80°/100°）成像后的形状，图示结果为计算得到。如图所示，0视场时正方形（c）成像后产生变形，边缘的角度也发生相应变化，其中，主光线角为60°时，正方形右侧边缘接近垂直（d），而主光线角为100°时，正方形的下方边缘顺时针旋转了约22°（e）。而无论畸变如何，在畸变后的圆形中总能找到大体满足测量方向的边缘（f）。 
3.圆边SFR的计算方法
上述问题限制了直边SFR算法在畸变图像中的使用。使用圆形边缘取代直线形边缘可有效克服畸变对SFR计算的影响[8]，此法在X射线CT（计算机断层扫描）类设备的成像性能评价中受到了较多关注[9,10,11,12]。我们尝试对此方法进行调整与优化，并将其应用于广角相机的SFR测量，取得了令人满意的结果。由于尚没有国际标准对圆边SFR予以规范，在这里，我们仅对其计算思路及步骤进行简要介绍，供大家学习与参考：  
1.从图像中选择包含完整圆形图形的ROI，对三通道彩色图像需使用某通道或计算亮度通道，并使用OECF的反函数将图像的像素值线性化；
2.确定圆形中心，并根据测试需求选择对应方向（如水平/垂直/子午/弧矢）的扇形；
3.检测并提取扇形对应的弧形边缘；
4.对边缘位置进行多项式拟合；
5.计算扇形内各点到边缘曲线的距离，确定将用来计算边缘扩散函数的有效像素；
6.根据距离将各点的数值组合，形成过采样的边扩散函数，并对其进行重采样，形成4倍过采样的边扩散函数；
7.使用FIR滤波器（[-1/2, 0, 1/2]），对边扩散函数求导，得到线扩散函数；
8.对线扩散函数进行变迹（apodization），保留其中心附近的信息，并使用汉明窗使两侧变平滑，以减小频谱泄漏与干扰；   
9.对平滑的线扩散函数进行离散傅里叶变换，得到频谱，取其模并归一化，得到圆边SFR。  
   
图6 圆边SFR的计算流程
图7 为对比直边与圆边SFR计算方法，我们模拟了镜头的衍射及正方形像元的开口形状引入的模糊，分别施加于（顺时针倾斜5°的）正方形（a）与圆形（b）二值图像，并从中各取出两个区域作为横、竖方向的ROI，为后续计算所用。
图8 对图7所示的ROI分别计算直边与圆边SFR。图中横轴所示的空间频率，使用采样频率进行了归一化，因此0.5为奈奎斯特频率。由图可见，在奈奎斯特频率以下，直边与圆边SFR计算结果高度一致。
图9 使用可调焦平行光管模拟物距为10m至80m处（顺时针倾斜5°）的正方形与圆形目标物，使用某型号车载相机组件（固定焦距镜头、固定法兰距）拍照，对所得接近无畸变的图像分别计算直边与圆边SFR，可见两种方法的测量结果高度相似（注：目标位于图像中心，取所有方向SFR在1/4奈奎斯特频率处的平均值）。
4.圆边SFR计算结果与直边SFR的兼容性    
为了验证圆边SFR方法的准确性，我们用程序生成了顺时针倾斜的正方形与圆形，又模拟了镜头的衍射及成像器像元开口对应的二维点扩散函数，并应用于正方形与圆形图像，以模拟成像造成的模糊。而后，我们在模糊的图像中，各自选取了对应横、竖两个方向的ROI（关注区域），并送入软件计算直边与圆边SFR。结果显示，在奈奎斯特频率以下，两种测量方法的结果高度一致。        
此外，我们还以车载相机的SFR测试为应用场景，使用平行光管模拟10m-80m物距范围的矩形与圆形目标物，并使用某型号相机（固定焦距镜头、固定法兰距）获取目标物的图像，而后分别使用传统直边SFR与圆边SFR方法对图像进行分析。结果表明，对于无畸变或轻微畸变图像，两种方法的测量结果高度一致。     
5.圆边SFR的优势及其在广角相机组件生产与测试中的应用      
在图像畸变较显著的超广角相机的测试[13]，特别是超广角/鱼眼相机组件[14]组装时的主动对准（active alignment）工艺中[15,16]，图像边缘的质量尤为重要，此时，圆边SFR的优势主要体现在如下四个方面：          
1.抗畸变。由于圆边SFR算法使用扇形作为基本操作单元，提供足够丰富的采样相位，加之多项式拟合的使用，畸变带来的边缘变形与方向改变，均不影响测量的正常进行；
2.自定义测量方向。由于圆形覆盖任意方向，因此只需一个简单图形即可支持不同方向SFR的测量，用户既可选择传统的水平/垂直方向，也可关注与镜头调制传递函数相关的子午/弧矢方向，或任何其他自定义方向，更丰富的测量结果也为更精准的判断与决策提供了帮助；   
3.图案无方向选择性。如畸变导致图像中直边方向的改变，一般需调整目标物的方向，使图像中边缘的方向重新满足要求，而圆形无方向选择性，免去了调整目标物方向的繁琐，可有效提高测试及生产效率；
4.适用范围广。圆边SFR与传统直边SFR测量结果高度一致，可覆盖的相机类型（视场角范围）更为广泛。
由此可见，圆边SFR将简单易获取的二值圆形图案与成熟的直边SFR算法巧妙地融为一体，亦将辐射式西门子星图案的方向灵活性与边缘型图案所覆盖的广阔空间频率范围有机结合，在对广视场角的需求较为集中的车载相机组件的组装及测试中，优势明显，应用前景广阔。

参考文献
[1] International Organization for Standardization. (2023). Photography — Electronic still picture imaging — Resolution and spatial frequency responses (ISO Standard No. 12233:2023). https://www.iso.org/standard/79169.html    
[2] Ray, S. F. (2002). Applied Photographic Optics: Lenses and Optical Systems for Photography, Film, Video, Electronic and Digital Imaging. Focal Press.
[3] Burns, P. D., & Williams, D. (2018). Camera resolution and distortion: Advanced edge fitting. In Proc. IS&T International Symposium on Electronic Imaging: Image Quality and System Performance XV (pp.171-1-171-5). IS&T.
[4] Cardei, V., Fowler, B., Kavusi, S., & Phillips, J. (2016). MTF measurements of wide field of view cameras. in Proc. IS&T International Symposium on Electronic Imaging: Digital Photography and Mobile Imaging XII (pp. 006.1-006.5). IS&T.
[5] Williams, D. (1998). Benchmarking of the ISO 12233 slanted-edge spatial frequency response plug-in. In PICS (pp. 133-136). IS&T.
[6] Wu, Y., Xu, W., Piao, Y., & Yue, W. (2022). Analysis of edge method accuracy and practical multidirectional modulation transfer function measurement. Applied Sciences, 12(24), 12748.
[7] Roland, J. K. (2015, February). A study of slanted-edge MTF stability and repeatability. In Larabi, M. C., & Triantaphillidou, S. (Eds.), Proc. SPIE 9396, Image quality and system performance XII (pp. 181-189). SPIE.
[8] Baer, R. L. (2003). Circular-edge spatial frequency response test. In Miyake Y., & Rasmussen. D. R. (Eds.), Proc. SPIE 5294, Image Quality and System Performance (pp. 71-81). SPIE.
[9] Richard, S., Husarik, D. B., Yadava, G., Murphy, S. N., & Samei, E. (2012). Towards task‐based assessment of CT performance: system and object MTF across different reconstruction algorithms. Medical physics, 39(7), 4115-4122.
[10] Friedman, S. N., Fung, G. S., Siewerdsen, J. H., & Tsui, B. M. (2013). A simple approach to measure computed tomography (CT) modulation transfer function (MTF) and noise‐power spectrum (NPS) using the American College of Radiology (ACR) accreditation phantom. Medical physics, 40(5), 051907.
[11] Takenaga, T., Katsuragawa, S., Goto, M., Hatemura, M., Uchiyama, Y., & Shiraishi, J. (2015). Modulation transfer function measurement of CT images by use of a circular edge method with a logistic curve-fitting technique. Radiological physics and technology, 8, 53-59.
[12] Maruyama, S. (2023). Simulation analysis on the performance of a circular-edge technique in measurements of the modulation transfer function. Journal of Medical Physics, 48(1), 90-97.
[13] Wang, X., & Yang, S. (2024). An Integrated and Fully Automated Test Solution for Automotive Cameras of Ultrawide Angle of View. In Electronic Imaging 2024 (pp.110-1-110-4). IS&T.
[14] Galstian, T. V. (Eds.). (2014). Smart Mini-Cameras. CRC Press.
[15] Bitzer, K., & By, A. (2010). Active alignment for cameras in mobile devices and automotive applications. In 2010 12th Electronics Packaging Technology Conference (pp. 260-264). IEEE.
[16] Bräuniger, K., Stickler, D., Winters, D., Volmer, C., Jahn, M., & Krey, S. (2014). Automated assembly of camera modules using active alignment with up to six degrees of freedom. In Soskind, Y. G., & Olson, C. (Eds.), Proc. SPIE 8992, Photonic Instrumentation Engineering (pp. 75-82). SPIE.