论文讲解：A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising

论文讲解：A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising

Introduction

这是发表在 CVPR 2020 上的一篇文章，依然是介绍如何构造更加真实的噪声数据，以用来处理暗光下的降噪问题，这篇文章比较系统地介绍了 sensor 在成像过程中的噪声是如何产生的，以及如何对噪声分布进行估计和参数的标定。对于了解 ISP 成像中的噪声问题有比较好的借鉴。

在 ISP 中，比较关键的两个图像质量一个是噪声，另外一个就是颜色，暗光下的噪声一般都比较严重，而且暗光下的颜色也不太好校正，暗光下的白平衡一般也是一个比较困难的问题。白平衡及颜色可以留在后面的文章再讨论，今天主要介绍暗光下的降噪问题。

ISP 中，噪声主要分为固定模式噪声和随机噪声，固定模式噪声，及 fixed pattern noise (FPN) 和 sensor 的制造工艺有关，这里不做讨论，一般学术界或者工业界处理比较多的都是随机噪声，随机噪声在 sensor 成像的流程中有几个地方都会产生：

• 插入图片

如上图所示，环境中的光和物体反射的光，通过镜头模组，照射到 CMOS sensor 上，通过光电效应，光子激发出电子，电子在 sensor 上的电势井里累积形成电压，电压信号通过模拟放大器放大，得到模拟电信号，然后再通过模数转换器及量化得到数字信号，量化输出 RAW 数据，这是 sensor 成像的一般流程，这个过程中，会有几种噪声产生，光电转换会产生 shot noise，模拟放大会产生 read noise，模数转换会产生量化噪声，除此之外，sensor上也会产生暗电流，从而形成暗电流噪声。

Physics-based Noise Formation Model

RAW 域的成像模型可以表示成如下式：

$$D=KI+N$$

其中，$I$ 表示光电转化的电荷数，$K$ 表示整个系统的增益，$N$ 表示噪声

这篇文章从这个表达式出发，对不同流程中的噪声形态进行分布估计。

From Photon to Electrons

首先是光电转换，光线通过镜头模组照射到 sensor 上，激发出电荷，这个过程是有一定的随机性的，激发出的电荷多少与 sensor 的光电转换效率有关，也与 sensor 上每个 pixel 的 size 大小有关，但这个过程可以用泊松分布来表示：

$$(I+N_p)\sim \mathcal{P}(I)$$

其中，$N_p$ 表示光子散粒噪声，可以看到这个分布和光照强度有关，shot noise 是光电效应带来的固有属性，很难消除，除了 shot noise，还有一种称为暗电流的噪声，因为光电转换的时候，sensor 会发热，从而也会激发出电子，从而产生暗电流噪声，为什么称为暗电流噪声，因为我们把镜头遮住，在一个完全无光的环境下拍摄图像，虽然拍摄的 RAW 图是黑的，但不是绝对的 0 值，而是有一定的数值，这些数值其实就是暗电流噪声，暗电流噪声一般可以通过标定的方式得到，这里成为 $N_d$

From Electrons to Voltage

光电转换之后，接下来就是电荷转换为电压，电压信号经过模拟器放大，得到模拟电信号，这个过程也会产生随机噪声，文章里把噪声分成 thermal noise, reset noise, source follower noise and banding pattern noise，这些噪声统称 read noise，

$$N_{read}=N_t+N_s+N_d$$

一般我们都认为 read noise 服从高斯分布，不过这篇文章对 read noise 用了另外一种分布来表示，Tukey lambda distribution，

$$N_{read}\sim TL(\lambda ,0,{\sigma }_{TL})$$

文章中还介绍了一种 Banding pattern noise，这种噪声分布建模成高斯分布。

From Voltage to Digital Numbers

最后就是量化噪声，这里的量化噪声建模成均匀分布：

$$N_q\sim U(-1/2q,1/2q)$$

To summarize

所以最终，噪声的分布表示为：

$$N=K{N}_p+N_{read}+N_r+N_q$$

分别对应上面的 shot noise，read noise，row noise 以及 quantization noise

Estimating noise parameters

对噪声分布进行建模之后，剩下的就是对模型参数的估计，从噪声模型的表达式来看，需要估计的参数有系统增益 $K$, 散粒噪声 $N_p$，读出噪声 $N_{read}$， 行噪声 $N_r$ 及量化噪声 $N_q$

为了估计这些参数，文章中设计了一些实验，拍摄了两种类型的图像，一种是 flat-field images，另外一种是 bias images，其中 flat-field images 就是光照均匀的环境下获取的图像，这样可以估计出 K 值，然后进而估计出图像亮度 I 值，然后再构造一个泊松分布，将噪声添加到 I 上再乘以 K 值，从而模拟 shot noise。

bias images 是另外一种图像，简单来说就是在黑暗的环境下，盖住镜头，拍摄多帧图像，对图像做离散傅里叶变换，可以看到一条明显的竖直的线，这条线和 banding pattern noise 有关，为了分析噪声的分布，可以对图像的每一行求平均值，然后做一个均值，方差的估计，从而估计出 banding pattern noise 的 scale，然后用 bias images 减去 banding pattern noise，用一个统计模型去拟合剩下的残差，最后得到一个联合的参数分布模型：

$$\begin{gathered} \log (K)\sim U(log({\hat{K}}_{min}),{\hat{K}}_{max}) \\ \log ({\sigma }_{TL})|\log (K)\sim \mathcal{N}(a_{TL}\log (K)+b_{TL},{\hat{\sigma }}_{TL}) \\ \log ({\sigma }_r)|\log (K)\sim \mathcal{N}(a_r\log (K)+b_r,{\hat{\sigma }}_r) \end{gathered}$$

其中，$U(\cdot ,\cdot )$ 表示均匀分布，$\mathcal{N}$ 表示高斯分布。

通过这组参数分布，可以进行噪声的估计，从而模拟真实环境的噪声分布。