关闭
TOP
技术应用 // 测试技术
Remosaic 的图像质量评价
  • 大话成像
    • 2022-04-18
    • 694

    • {{thumb}}

    • 0

高像素图像传感器输出模式主要有全尺寸输出和binning 模式两种。一般我们把2x2 binning模式叫Quad binning或者 Tetra Binning:


1.png


3x3 binning模式叫nona binning 。不管是几合一binning,数字binning的原理都是把这些像素求和,算法很简单直接。而图像全尺寸输出就存在原始排列的全尺寸与‘remosaic’之后的全尺寸输出两种模式。所谓remosaic,就是把raw图像变成经典的bayer pattern,这样ISP就可以按照标准的Bayer格式进行图像处理,如下图所示:

2.png

remosaic之后的RAW图像,也即真正的如厂家宣传的,是超高像素的图像。下图是imx689的宣传对比图 —— 超高像素带来的是更高清晰度的照片。


3.png


如果说各厂家digital binning的算法大差不差,大家可能没啥异议,可remosaic算法就完全是另一个状况了。Sony可以说在remosaic算法上抢得先机,率先实现了on-sensor remosaic,它之前其它sensor都是在host端软件来进行remosaic操作,必然是只支持静态照相模式,后来各sensor厂也都有了on sensorremosaic,到现在ISP soc上也有了硬件的remosaic。公众号之前的文章讨论demosaic算法的可能不下十篇,足以说明这个模块的复杂性,remosaic算法也同样并不简单,如果我们用最简单的一个方法,把左图中相邻的R,G,B放到右图中,实现remosaic,可以想见,如果有一条细线正好在最左边的两个R的位置,经过Remosaic之后,这条细线就会在第三个像素的位置出现。


4.png

除此之外,如果R2被这种remosaic copy到R3之后,所带来的除了空间采样位置的误差之外,它也不能准确代表R3位置的R的色彩。假设我们把这颗Quad sensor的color filter替换成bayer pattern,做一个‘物理上’的remosaic,与用上边remosaic算法得到的bayer sensor做直接的比较,会发现由于光学与物理crosstalk等的影响,两个RAW图存在着不小的差异,这就导致图像会出现各种瑕疵,完全没有上面样片那样美好。从图像质量的角度来说,主要有以下问题:


1.伪影


5.png

本身树枝之间应该是干净的天空,但是由于remosaic造成了伪影。


2.高饱和色降饱和


6.png

本身应该是连续的黄色的草丛,却出现色彩降饱和,呈现灰色。由于黄色饱和度高,所以比较容易被察觉饱和度的下降。


3.锯齿线 断线


7.png

稍微有些倾斜的直线,很容易出现这种因为remosaic造成的锯齿或者断续。


4.拐角伪点


8.png

在高频的拐点,很容易出现伪点,这在demosaic 和DPC 算法里也容易出现,由于对线条纹理的方向判断错误,错误的插值导致的伪点。


9.png

5.伪彩


10.png

可以看到树干和枯草的高频区域出现一些彩色的artefact。


也与demosaic算法一样,现在的remosaic算法也逐渐从传统的信号处理方法过渡到基于机器学习/深度学习的图像处理方法,不管是用哪种方法做remosaic,客观评价其图像质量的方法都必不可少,所以基于以上5个方面,可以利用传统的图像质量测量方法,来比较各remosaic算法的优劣。


测试Chart可以选择Image Engineering 的all in one chart:


11.png

高频的细节,直线,斜边,各种颜色在这个chart里都有,所以可以满足客观评价remosaic的需求 。 


各IQ Metrics计算:(I 是待测图像,I ̂是groudtruth 图像)


 1.颜色错误:

12.png

计算色卡color patch部分,待测图像与ground truth的饱和度之差。


2.降饱和度

直接计算待测图像color patch的饱和度


13.png

3.断线:

14.png

如果没有断线,M_LB 应该等于0


4.线噪 :

15.png

计算线上所有像素的标准差


5.边角偏差

计算边角的位置,比较待测图像与Groundtruth的边角位置距离

16.png

总之,想设计优秀的算法肯定是要深刻地理解图像质量的测量,只有把图像质量客观测量的模型做好,才能高效地评价相机、评价图像处理算法,开发出更好的产品。


特别声明:本文转载自大话成像;如有侵权请联系删除。

{{thumb}}人已点赞
>> 更多精品文章,请关注
相关标签
文章评论
添加表情
评 论
全部评论
添加表情
评 论
尊敬的用户:
您选购的商品已加入购物车!
购物车 继续购物