325
{{thumb}}
0
因此,像质评价是相机设计、生产与使用中的重要一环。数字相机的SFR(空间频率响应)与锐度的关联十分紧密,而锐度又是影响清晰度的主要因素,加之其易测量、可重复、可计算、可累乘、易标准化等诸多优点,时至今日,SFR已成为数字相机客观像质评价的主要方法之一。在数字相机中,图像的模糊与“三大件”(即成像镜头、光电成像器、图像处理方法)有着紧密的联系。为了更好地理解SFR的概念,解读SFR测量的结果,有必要对数字相机中图像模糊的成因有一些基本的认知。
1.成像镜头引入的图像模糊
任何一个发光、反光或透光的物体,都可以看作是由许许多多的点组成的,每一点均向外辐射能量。对于成像镜头来说,如果每一个物点发出的光通过镜头的偏折(反射、折射)作用后,均可重新会聚于一点(点物成点像),则像是物的忠实复现。然而,从几何光学视角出发,由于像差的作用,物点发出的光线经镜头会聚后与像面的交点会发散为一个光斑[1]。1855年,德国学者赛德尔(Philipp Ludwig von Seidel, 1821-1896)扩展了高斯的近轴成像理论,推导出了五种初级(三阶)单色像差——球差、彗差、像散、场曲、畸变[2]。其中,球差、彗差、像散均导致点物无法成点像。此外,由于同一介质对不同频率的光有着不同的折射率,不同频率的光线的成像位置存在差异,导致成像不清晰,这种像差称为色差[3]。采用面形复杂的镜片、特殊材料制成的镜片、多镜片组合成镜组、更加合理的孔径光阑位置等方式可校正一部分像差[4,5],然而在现阶段像差仍是无法完全消除的。
几何光学的基本假设是光的波长为0(即忽略光的波动性),并认为光在均匀的同种介质中沿直线传播。然而,波动性是光作为电磁波的固有属性,我们知道,声波、水波都会绕过障碍物向各个方向继续传播,这种波的衍射现象同样也适用于光。1835年,英国学者艾里(George Biddell Airy, 1801-1892)系统地研究了具有圆形孔径的天文望远镜的衍射现象[6]。由于天文望远镜的观测对象常常为距地球非常遥远的天体,故每一颗“星”皆可视为点光源,到达地球时其光波亦可视作平面波,此时形成的衍射图样由一个圆形中央亮斑(称作艾里盘)与一组亮暗相间的同心圆环组成,称作艾里斑。艾里斑的直径随波长的增大而增大,随孔径的增大而减小。实际上,艾里斑与镜头并无本质联系,平面波通过圆孔即可形成艾里斑,只是需要在远大于孔径及观察区域的最大线度的距离观察,而镜头的作用是通过对波阵面的调制形成会聚球面波,将无穷远的衍射图样呈现于像面上。常见的镜头均使用圆形(或接近圆形)的孔径光阑,因此艾里的结论也适用于相机镜头[7]。总之,从原理与设计的角度,镜头受到像差与衍射的影响,使得点物无法成点像,而是形成一个光斑。这种由点到斑的能量扩散,正是图像由清晰到模糊的过程。
图1 三阶单色像差几何示意图。
(a) 无像差 (b) 球差 (c) 彗差 (d) 像散 (e) 场曲 (f) 畸变
(a)(b)图像来源:https://commons.wikimedia.org/wiki/File:Spherical_aberration_2.svg,
(c)图像来源:https://commons.wikimedia.org/wiki/File:Lens-coma.svg,
(d)图像来源:https://commons.wikimedia.org/wiki/File:Astigmatism.svg,
(e)图像来源:https://commons.wikimedia.org/wiki/File:Field_curvature.svg,
图2 几何像差的物理光学解释。
(a) 无像差时,来自无穷远处点光源的入射平面波经过成像镜头后,变为以像点为球心的会聚球面波,此时点物成点像。(b) 有像差时,平面波通过镜头后,在像差的作用下,出射光的波阵面偏离了球面,导致出射光波无法会聚于一点,即点物不成点像。
图3 衍射的成因与现象。
(a) 当平面波通过小孔时,孔径内各点均处于同一波阵面,每个点均可视为子波源。在位于小孔右侧空间中的某观察点,来自各子波源的光波产生干涉(振动加强或减弱),干涉的结果随观察点位置的变化而变化。从宏观上看,衍射使得光进入几何阴影区,在观察屏上呈现亮暗相间的衍射光斑。(b) 当光源及观察屏与小孔的距离均远远大于小孔的孔径时,可视为远场(夫琅和费)衍射,图中所示为圆孔的远场衍射的一维强度分布(单色光)。(c) 圆孔的远场衍射图样(单色光),即艾里斑。
(b)图像来源:https://commons.wikimedia.org/wiki/File:Single_Slit_Diffraction_(english).svg
(c)图像来源:https://commons.wikimedia.org/wiki/File:Airy-pattern.svg
2.固态成像器引入的图像模糊
目前,数字相机中常见的电子感光元件为CMOS(互补金属氧化物半导体)成像器[8],这是一种固态成像器,是由许多相同的单元电路组合而成的集成电路,每一个单元电路称作像元或像素。像元电路由光敏元件与其他功能元件组成,其中光敏元件负责将入射的光子转换为电荷,并收集起来[9]。CMOS成像器的材料与设计会导致图像的模糊,下面介绍其中三重主要因素。首先,光敏元件设有一开口,光子通过开口入射到光敏半导体材料中,而每个开口都对应着景物通过镜头所成像的一部分,假如落在开口处的像是一个汉字,那么,这个汉字将会消失在光电转换的过程中,因为一个像元的输出只能表征该像元收集到的光电荷的总量,而无法还原光敏元件开口处的原始照度分布[10]。不难想象,开口愈大,同一时间间隔内可入射的光子愈多,成像器的光电性能(如信噪比)也愈高,不过,得到的图像也就愈模糊[11]。除尺寸外,开口的形状也很重要。光敏元件只是像元电路中的元件之一,其他元件也要占用一定的空间,因此,开口的形状可相对复杂,使不同方向上的模糊程度存在差异[12]。其次,CMOS成像器常使用以光电二极管为基础的半导体感光元件,其本质为工作在反向偏置模式下的P-N结[13]。根据电场分布,P-N结大致可分为P区、N区与空间电荷区,空间电荷区内有较强的内建电场,而P、N两区中几乎不存在电场,故又名准中性区[14]。能量大于半导体材料禁带宽度的光子入射并被吸收后,可引发带间跃迁,产生自由电子与空穴两种非平衡过剩载流子。产生于空间电荷区的过剩载流子,在内建电场的作用下,漂移至空间电荷区两端,作为光电荷被收集起来[15]。而产生于准中性区的过剩载流子,在浓度梯度的驱动下发生扩散,只有扩散至空间电荷区的载流子,方可被收集[16]。产生于准中性区的部分过剩载流子,可能扩散至相邻像元的空间电荷区并被收集起来,这将导致像元间的电串扰,进而造成图像模糊[17]。显然,像元的间距愈小,发生电串扰的几率愈大。同时,光的波长愈长,吸收系数愈小,光子可到达的位置愈深,发生扩散及电串扰的几率亦愈大[18]。再次,由于成像器结构等原因,本该被一个像元捕捉的光子可能落入另一个相邻像元,这一现象称为像元间的光串扰[19]。
上述三重因素中,光串扰与电串扰均可通过物理方法改善,例如,使用背照式设计可改善光串扰,在像元间增加绝缘沟槽则可减少电串扰,然而,光敏元件开口的几何特征的影响是始终存在的。
图4 固态成像器感光元件开口导致的图像模糊示意图 。
(a)假如落在单个感光元件开口处的像是一个汉字,那么,这个汉字对应的照度分布将消失在光电转换的过程中,因为一个像元单次曝光后只能输出一个数据。(b)假设一个英文字符落在固态成像器上的一块8x8像元的区域内,开口的有限尺寸及几何特征将导致字符对应的图像变模糊。
图5 固态成像器工作原理及串扰产生机制示意图。
3.其他因素导致的图像模糊
在硬件的制造中存在材料、加工、装配的缺陷,如镜片生产中面形的缺陷、镜头组装中镜片的偏心、相机成像模块组装时成像器的翘曲等等,均会引入模糊。 相机的“三大件”中,图像处理扮演着至关重要的角色,同时也是图像模糊的主要贡献者之一[20,21]。然而,图像处理导致的模糊,一般是有意而为之(如美颜以及为浅景深效果而做的背景虚化导致的模糊)或是某一种处理的副作用(如去噪声的同时去掉了图像中的一些细节导致的模糊)。 除相机自身的原因外,在相机的日常使用中,有一些环境因素也会引入模糊[22]。例如,拍摄远距离目标时大气湍流与气溶胶可造成大气模糊,曝光过程中景物与成像器的相对运动会引入运动模糊,相机视场角内、外的强光产生的杂光(非成像光线)所形成的鬼影、眩光等会降低明暗对比进而造成图像模糊。
参考文献
[1] Rohr, M. (1904). Die Bilderzeugung in optischen Instrumenten vom Standpunkte der geometrischen Optik. Julius Springer.
[2] Seidel, L. (1856). Zur Dioptrik. Über die Entwicklung der Glieder 3ter Ordnung welche den Weg eines ausserhalb der Ebene der Axe gelegene Lichtstrahles durch ein System brechender Medien bestimmen. Astronomische Nachrichten, 43(19), 289-304.
[3] Conrady, A. E. (1929). Applied Optics and Optical Design (Part I). Oxford University Press.
[4] Hovestadt, H. (1900). Jenaer Glas und seine Verwendung in Wissenschaft und Technik. Gustav Fischer.
[5] Conrady, A. E. (1960). Applied Optics and Optical Design (Part II). Dover Publications.
[6] Airy, G. B. (1835). On the diffraction of an object-glass with circular aperture. Transactions of the Cambridge Philosophical Society, 5, 283.
[7] Morgan, J. (1953). Introduction to geometrical and physical optics (pp.168). McGraw-Hill.
[8] Stefanov, K. D. (2022). CMOS Image Sensors. IoP Publishing.
[9] Kuroda, T. (2014). Essential principles of image sensors. CRC Press.
[10] Crowell, M. H., & Labuda, E. F. (1969). The silicon diode array camera tube. Bell System Technical Journal, 48(5), 1481-1528.
[11] White, M. H. (1976). Design of solid-state imaging arrays. In Jespers, P. G., Van de Wiele, & F., White, M. H. (Eds.), Solid state imaging (pp. 485-522). Noordhoff International Publishing.
[12] Song, M., Zhang, M., & Zheng, Y. (2002). Influence of geometric shape of CCD pixel on the modulation transfer function. In Yao, J., & Ishii, Y. (Eds.), Proc. SPIE 4919, Advanced Materials and Devices for Sensing and Imaging (pp. 25-28). SPIE.
[13] Johnson, M. (2003). Photodetection and measurement: Making Effective Optical Measurements for an Acceptable Cost. McGraw-Hill.
[14] Neudeck, G. W. (1983). The PN Junction Diode. Addison-Wesley.
[15] Beynon, J. D. E. (1980). Charge-coupled devices and their applications. McGraw-Hill.
[16] Seib, D. H. (1974). Carrier diffusion degradation of modulation transfer function in charge coupled imagers. IEEE transactions on Electron Devices, 21(3), 210-217.
[17] Theuwissen, A. J. (2005). Solid-state imaging with charge-coupled devices. Springer.
[18] Lin, C. S., Mathur, B. P., & Chang, M. C. (2002). Analytical charge collection and MTF model for photodiode-based CMOS imagers. IEEE Transactions on Electron Devices, 49(5), 754-761.
[19] Agranov, G., Berezin, V., & Tsai, R. H. (2003). Crosstalk and microlens study in a color CMOS image sensor. IEEE Transactions on Electron Devices, 50(1), 4-11.
[20] Nakamura, J. (Ed.). (2017). Image sensors and signal processing for digital still cameras (pp. 223). CRC press.
[21] Lukac, R. (Ed.). (2018). Single-sensor imaging: methods and applications for digital cameras (pp. 67). CRC Press.
[22] Holst, G. C. (2017). Electro-optical Imaging System Performance (6th ed.). SPIE Press.
{{CommentDatavv.name+' '+(CommentDatavv.to_user_id!=CommentDatav.user_id?('回复'+CommentDatavv.to_name):'')}}: