高像素图像传感器输出模式主要有全尺寸输出和binning 模式两种。一般我们把2x2 binning模式叫Quad binning或者 Tetra Binning：


3x3 binning模式叫nona binning 。不管是几合一binning，数字binning的原理都是把这些像素求和，算法很简单直接。而图像全尺寸输出就存在原始排列的全尺寸与‘remosaic’之后的全尺寸输出两种模式。所谓remosaic，就是把raw图像变成经典的bayer pattern，这样ISP就可以按照标准的Bayer格式进行图像处理，如下图所示：
remosaic之后的RAW图像，也即真正的如厂家宣传的，是超高像素的图像。下图是imx689的宣传对比图 —— 超高像素带来的是更高清晰度的照片。


如果说各厂家digital binning的算法大差不差，大家可能没啥异议，可remosaic算法就完全是另一个状况了。Sony可以说在remosaic算法上抢得先机，率先实现了on-sensor remosaic，它之前其它sensor都是在host端软件来进行remosaic操作，必然是只支持静态照相模式，后来各sensor厂也都有了on sensorremosaic，到现在ISP soc上也有了硬件的remosaic。公众号之前的文章讨论demosaic算法的可能不下十篇，足以说明这个模块的复杂性，remosaic算法也同样并不简单，如果我们用最简单的一个方法，把左图中相邻的R，G，B放到右图中，实现remosaic，可以想见，如果有一条细线正好在最左边的两个R的位置，经过Remosaic之后，这条细线就会在第三个像素的位置出现。

除此之外，如果R2被这种remosaic copy到R3之后，所带来的除了空间采样位置的误差之外，它也不能准确代表R3位置的R的色彩。假设我们把这颗Quad sensor的color filter替换成bayer pattern，做一个‘物理上’的remosaic，与用上边remosaic算法得到的bayer sensor做直接的比较，会发现由于光学与物理crosstalk等的影响，两个RAW图存在着不小的差异，这就导致图像会出现各种瑕疵，完全没有上面样片那样美好。从图像质量的角度来说，主要有以下问题：

1.伪影

本身树枝之间应该是干净的天空，但是由于remosaic造成了伪影。

2.高饱和色降饱和

本身应该是连续的黄色的草丛，却出现色彩降饱和，呈现灰色。由于黄色饱和度高，所以比较容易被察觉饱和度的下降。

3.锯齿线 断线

稍微有些倾斜的直线，很容易出现这种因为remosaic造成的锯齿或者断续。

4.拐角伪点

在高频的拐点，很容易出现伪点，这在demosaic 和DPC 算法里也容易出现，由于对线条纹理的方向判断错误，错误的插值导致的伪点。

5.伪彩

可以看到树干和枯草的高频区域出现一些彩色的artefact。

也与demosaic算法一样，现在的remosaic算法也逐渐从传统的信号处理方法过渡到基于机器学习/深度学习的图像处理方法，不管是用哪种方法做remosaic，客观评价其图像质量的方法都必不可少，所以基于以上5个方面，可以利用传统的图像质量测量方法，来比较各remosaic算法的优劣。

测试Chart可以选择Image Engineering 的all in one chart：

高频的细节，直线，斜边，各种颜色在这个chart里都有，所以可以满足客观评价remosaic的需求 。 

各IQ Metrics计算：（I 是待测图像，I ̂是groudtruth 图像）

 1.颜色错误：
计算色卡color patch部分，待测图像与ground truth的饱和度之差。

2.降饱和度：
直接计算待测图像color patch的饱和度

3.断线：
如果没有断线，M_LB 应该等于0

4.线噪 ：
计算线上所有像素的标准差

5.边角偏差
计算边角的位置，比较待测图像与Groundtruth的边角位置距离
总之，想设计优秀的算法肯定是要深刻地理解图像质量的测量，只有把图像质量客观测量的模型做好，才能高效地评价相机、评价图像处理算法，开发出更好的产品。

特别声明：本文转载自大话成像；如有侵权请联系删除。