本文主要是介绍论文讲解：A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
论文讲解：A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising
Introduction
这是发表在 CVPR 2020 上的一篇文章，依然是介绍如何构造更加真实的噪声数据，以用来处理暗光下的降噪问题，这篇文章比较系统地介绍了 sensor 在成像过程中的噪声是如何产生的，以及如何对噪声分布进行估计和参数的标定。对于了解 ISP 成像中的噪声问题有比较好的借鉴。
在 ISP 中，比较关键的两个图像质量一个是噪声，另外一个就是颜色，暗光下的噪声一般都比较严重，而且暗光下的颜色也不太好校正，暗光下的白平衡一般也是一个比较困难的问题。白平衡及颜色可以留在后面的文章再讨论，今天主要介绍暗光下的降噪问题。
ISP 中，噪声主要分为固定模式噪声和随机噪声，固定模式噪声，及 fixed pattern noise (FPN) 和 sensor 的制造工艺有关，这里不做讨论，一般学术界或者工业界处理比较多的都是随机噪声，随机噪声在 sensor 成像的流程中有几个地方都会产生：
- 插入图片
如上图所示，环境中的光和物体反射的光，通过镜头模组，照射到 CMOS sensor 上，通过光电效应，光子激发出电子，电子在 sensor 上的电势井里累积形成电压，电压信号通过模拟放大器放大，得到模拟电信号，然后再通过模数转换器及量化得到数字信号，量化输出 RAW 数据，这是 sensor 成像的一般流程，这个过程中，会有几种噪声产生，光电转换会产生 shot noise，模拟放大会产生 read noise，模数转换会产生量化噪声，除此之外，sensor上也会产生暗电流，从而形成暗电流噪声。
Physics-based Noise Formation Model
RAW 域的成像模型可以表示成如下式：
D = K I + N D = KI + N D=KI+N
其中， I I I 表示光电转化的电荷数， K K K 表示整个系统的增益， N N N 表示噪声
这篇文章从这个表达式出发，对不同流程中的噪声形态进行分布估计。
From Photon to Electrons
首先是光电转换，光线通过镜头模组照射到 sensor 上，激发出电荷，这个过程是有一定的随机性的，激发出的电荷多少与 sensor 的光电转换效率有关，也与 sensor 上每个 pixel 的 size 大小有关，但这个过程可以用泊松分布来表示：
( I + N p ) ∼ P ( I ) (I + N_p) \sim \mathcal{P}(I) (I+Np)∼P(I)
其中， N p N_p Np 表示光子散粒噪声，可以看到这个分布和光照强度有关，shot noise 是光电效应带来的固有属性，很难消除，除了 shot noise，还有一种称为暗电流的噪声，因为光电转换的时候，sensor 会发热，从而也会激发出电子，从而产生暗电流噪声，为什么称为暗电流噪声，因为我们把镜头遮住，在一个完全无光的环境下拍摄图像，虽然拍摄的 RAW 图是黑的，但不是绝对的 0 值，而是有一定的数值，这些数值其实就是暗电流噪声，暗电流噪声一般可以通过标定的方式得到，这里成为 N d N_d Nd
From Electrons to Voltage
光电转换之后，接下来就是电荷转换为电压，电压信号经过模拟器放大，得到模拟电信号，这个过程也会产生随机噪声，文章里把噪声分成 thermal noise, reset noise, source follower noise and banding pattern noise，这些噪声统称 read noise，
N r e a d = N t + N s + N d N_{read} = N_t + N_s + N_d Nread=Nt+Ns+Nd
一般我们都认为 read noise 服从高斯分布，不过这篇文章对 read noise 用了另外一种分布来表示，Tukey lambda distribution，
N r e a d ∼ T L ( λ , 0 , σ T L ) N_{read} \sim TL(\lambda, 0, \sigma_{TL}) Nread∼TL(λ,0,σTL)
文章中还介绍了一种 Banding pattern noise，这种噪声分布建模成高斯分布。
From Voltage to Digital Numbers
最后就是量化噪声，这里的量化噪声建模成均匀分布：
N q ∼ U ( − 1 / 2 q , 1 / 2 q ) N_q \sim U(-1/2q, 1/2q) Nq∼U(−1/2q,1/2q)
To summarize
所以最终，噪声的分布表示为：
N = K N p + N r e a d + N r + N q N = KN_p + N_{read} + N_r + N_q N=KNp+Nread+Nr+Nq
分别对应上面的 shot noise，read noise，row noise 以及 quantization noise
Estimating noise parameters
对噪声分布进行建模之后，剩下的就是对模型参数的估计，从噪声模型的表达式来看，需要估计的参数有系统增益 K K K, 散粒噪声 N p N_p Np，读出噪声 N r e a d N_{read} Nread， 行噪声 N r N_r Nr 及量化噪声 N q N_q Nq
为了估计这些参数，文章中设计了一些实验，拍摄了两种类型的图像，一种是 flat-field images，另外一种是 bias images，其中 flat-field images 就是光照均匀的环境下获取的图像，这样可以估计出 K 值，然后进而估计出图像亮度 I 值，然后再构造一个泊松分布，将噪声添加到 I 上再乘以 K 值，从而模拟 shot noise。
bias images 是另外一种图像，简单来说就是在黑暗的环境下，盖住镜头，拍摄多帧图像，对图像做离散傅里叶变换，可以看到一条明显的竖直的线，这条线和 banding pattern noise 有关，为了分析噪声的分布，可以对图像的每一行求平均值，然后做一个均值，方差的估计，从而估计出 banding pattern noise 的 scale，然后用 bias images 减去 banding pattern noise，用一个统计模型去拟合剩下的残差，最后得到一个联合的参数分布模型：
log ( K ) ∼ U ( l o g ( K ^ m i n ) , K ^ m a x ) log ( σ T L ) ∣ log ( K ) ∼ N ( a T L log ( K ) + b T L , σ ^ T L ) log ( σ r ) ∣ log ( K ) ∼ N ( a r log ( K ) + b r , σ ^ r ) \log(K) \sim U (log(\hat{K}_{min}), \hat{K}_{max}) \\ \log(\sigma_{TL})|\log(K) \sim \mathcal{N}(a_{TL} \log(K) + b_{TL}, \hat{\sigma}_{TL}) \\ \log(\sigma_{r})|\log(K) \sim \mathcal{N}(a_r\log(K) + b_r, \hat{\sigma}_{r} ) log(K)∼U(log(K^min),K^max)log(σTL)∣log(K)∼N(aTLlog(K)+bTL,σ^TL)log(σr)∣log(K)∼N(arlog(K)+br,σ^r)
其中， U ( ⋅ , ⋅ ) U(\cdot,\cdot) U(⋅,⋅) 表示均匀分布， N \mathcal{N} N 表示高斯分布。
通过这组参数分布，可以进行噪声的估计，从而模拟真实环境的噪声分布。
这篇关于论文讲解：A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
