本文主要是介绍《A High-Quality Denoising Dataset for Smartphone Cameras》阅读笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
智能手机相机的高质量去噪数据集
论文下载:http://openaccess.thecvf.com/content_cvpr_2018/papers/Abdelhamed_A_High-Quality_Denoising_CVPR_2018_paper.pdf
(就是简单的把文章地翻译一下)
摘要
在过去的十年里,从DSLR和点射相机成像到智能手机相机成像的巨大转变。 由于孔径小和传感器大小,智能手机图像比DSLR图像具有明显的噪声。虽然智能手机图像去噪是一个活跃的研究领域,但研究界目前缺乏一个能代表高质量地面真相的智能手机相机真实噪声图像的去噪图像数据集。我们在本文中讨论了这个问题,并作出了以下贡献。 我们提出了一种系统的方法来估计噪声图像的地面真相,可用于衡量智能手机相机的去噪性能。使用这个过程,我们捕获了一个数据集-智能手机图像去噪数据集(Sidd)-在不同的照明条件下,使用五个有代表性的智能手机相机从10个场景中~3万幅噪声图像,并生成它们的地面真实图像。我们使用这个数据集来基准许多去噪算法。 我们表明,基于cnn的方法在我们的高质量数据集上训练时比使用替代策略训练时表现得更好,例如用作地面真相数据代理的低iso图像。
1.介绍
智能手机的年销售量超过15亿部,但令人惊讶的是,现在智能手机的图像数量远远超过了用dslr和定点相机拍摄的图像。但是,虽然智能手机的普及使它们成为一种方便的摄影设备,但由于摄像机中发现的传感器和镜头较小,它们的图像通常会被较高水平的噪声所降解。这一问题加剧了在图像去噪方面取得进展的必要性,特别是在智能手机图像方面。
这方面的一个主要问题是缺乏一个既定的基准数据集,用于智能手机相机的真实图像去噪。创建这样一个数据集对于将注意力集中在智能手机图像去噪上和对去噪技术进行标准化评估都是必不可少的。然而,许多用于产生无噪音地面真相图像的方法还不够充分,特别是在智能手机相机的情况下。例如,使用低ISO和长曝光获取“无噪声”图像[2,26]的通用策略不适用于智能手机相机,因为即使在最佳相机设置下,这些图像上的噪声仍然很大(例如,见图1)。最近在[25]中的工作朝着正确的方向发展,通过全局对齐和后处理低iso图像来匹配它们的高iso对应物。这种方法在DS LR相机上具有优异的性能;然而,它并不完全适用于智能手机图像。特别是,低iso图像的后处理不能充分消除剩余的噪声,并且对全局平移对齐的依赖已经证明不足以对齐智能手机图像。
贡献:这项工作为智能手机去噪研究建立了迫切需要的图像数据集。为此,我们提出了一种系统的方法来估计真实噪声图像的地面真相,可用于衡量智能手机图像的去噪性能。使用这个过程,我们使用五个有代表性的智能手机相机捕获了一个~3万个真实噪声图像的数据集,并生成了它们的地面真实图像。利用我们的数据集,我们对许多去噪方法进行了基准测试,以衡量各种方法的相对性能,包括基于补丁的方法和最近基于cnn的技术。从这一分析中,我们表明,对于基于cnn的方法,当使用我们的地面真相数据与传统的替代方案,如低iso图像时,可以取得显著的收益。
2.相关工作
我们回顾了与地面真实图像估计有关的工作,以进行去噪评估。 鉴于去噪研究的广泛范围,只引用了有代表性的作品。
噪音真实图像的地面真相:最小化随机噪声最广泛使用的方法是图像平均,其中场景点的平均测量在统计上收敛到具有足够多图像的无噪声值。图像平均已成为一种标准技术,在广泛的成像应用中,受到噪声的显著影响,包括低水平的荧光显微镜和昏暗天体的天文成像。这种方法最基本的形式是用固定相机和固定相机设置捕捉静态场景的一组图像,然后直接对图像进行平均。该策略用于产生无噪声图像,用于评估去噪方法[34]、评估噪声估计方法[5]、比较估计噪声级函数[21,22]的算法和确定交叉信道噪声模型的参数[24]。虽然每像素平均在某些情况下是有效的,但它在两种常见情况下是无效的:(一)图像序列不对齐,导致平均图像模糊的,(2)当由于低光条件或过度曝光而产生压缩像素强度时,导致噪声为非零均值且直接平均有偏[13,25]。这两种情况是典型的智能手机图像,据我们所知,没有先前的工作已经解决了地面真相估计通过图像平均在这些设置。我们展示了如何准确地估计这些情况下的无噪声图像,作为我们在第4节中的地面真相估计管道的一部分。
另一种常见的策略是假设来自在线数据集的图像(例如,tid2013[26]和Pascalvoc数据集[12])是无噪声的,然后综合产生噪声来添加到这些图像中。然而,几乎没有证据表明所选择的图像是无噪音的,以这种方式获得的去噪结果高度依赖于所使用的噪声模型的准确性。
用真实图像去噪基准:据我们所知,已经有两次尝试在真实图像上定量地基准去噪算法。一个是Renoir数据集[2],它包含一对低/高iso图像。该数据集缺乏精确的空间对齐,低ISO图像仍然包含明显的噪声..此外,原始图像强度线性映射到8位深度,这对图像的质量产生了不利影响。
与我们的努力更密切相关的是关于Darmstadt噪声数据集(DND)[25]的工作。与Renoir数据集一样,DND包含一对低/高iso图像..相比之下,[25]后处理中的工作将低iso图像与(1)在空间上将它们与其高iso对应物对齐,(2)克服了环境光或人工光闪烁变化引起的强度变化。这项工作是第一次有原则的尝试,以产生高质量的地面真相图像。然而,大多数DND图像具有相对较低的噪声水平和正常的照明条件。因此,有少量的高噪声水平或低光条件的情况,这是图像去噪和计算机视觉的主要关切。此外,将图像之间的失调视为全局平移是不够的,包括透镜运动、径向畸变或光学图像稳定。
在我们关于地面真实图像估计的工作中,我们研究了与智能手机相机相关的问题,并且没有通过先前的策略得到适当的解决,例如由于透镜运动(即光学稳定)和径向畸变而导致的图像之间的空间失调的影响,以及由于低光条件或过度曝光而产生的裁剪强度的影响。此外,我们还研究了我们的数据集对最近基于深度学习的方法的影响,并表明,具有真实噪声和我们的地面真相的训练可以显著提高这些方法的性能。
3.数据集
在本节中,我们将描述有关捕获数据集所遵循的设置和协议的详细信息。 然后,我们讨论了图像噪声估计。
3.1. 图像捕获设置和协议
我们的图像捕获设置如下。我们捕捉静态室内场景,以避免由场景运动引起的失调。此外,我们还使用直流(D C)光源来避免交流电(AC)灯的闪烁效应[28]。我们的光源允许调整照明亮度和色温(从3200K到5500K)。我们使用了五台智能手机相机(苹果iPhone7、谷歌像素、三星星系S6边缘、摩托罗拉Nexus6和LGG4)。
我们使用以下协议捕获了我们的数据集。我们多次使用不同的摄像机、不同的设置和/或不同的照明条件捕捉每个场景。 这些组合的每个组合都称为场景实例。对于每个场景实例,我们捕获一系列连续图像,在后续图像之间有1-2秒的时间间隔。在捕获图像序列时,所有摄像机设置(例如iso、曝光、焦点、白平衡、曝光补偿)都是在整个过程中固定的。
我们在以下四种不同的设置和条件下,使用五个智能手机相机拍摄了10个不同的场景:
15个不同的is o水平从50到10,000不等,以获得各种噪声水平(iso水平越高,噪声越高)。
三种照明温度模拟不同光源的影响:钨或卤素3200K,荧光灯4400K,日光5500K。
三种光亮度水平:低、正常和高。
对于每个场景实例,我们捕获了150个连续图像的序列。由于噪声是一个随机过程,每个图像都包含来自传感器噪声分布的随机样本。因此,我们的数据集中的图像总数-智能手机图像去噪数据集(Sidd)-~为30,000(10个场景×5个摄像机×4个条件×150个图像)。对于每个图像,我们生成相应的地面真实图像(第4节),并在dng/tiff文件中使用原始数据记录所有设置。图2显示了在不同的照明条件和相机设置下来自我们数据集的一些示例图像。
在本文中,我们表示同一场景实例的图像序列,如
其中xi是序列中的第一幅图像,n是序列中的图像数,xi∈rm,其中m是每幅图像中的像素数。由于我们正在考虑原始RGB空间中的图像,所以每幅图像只有一个镶嵌通道。 然而,整个论文中显示的图像被呈现到sRGB以帮助可视化。
3.2. 噪声估计
对图像中存在的噪声水平进行估计通常是有用的。 为了为我们的数据集提供这样的估计,我们使用了两个常见的度量。第一种是信号相关噪声水平函数(NLF)[21,14,30],它将噪声建模为异方差信号相关的高斯分布,其中噪声的方差与图像强度成正比。对于低强度像素,异方差高斯模型仍然有效,因为传感器噪声(建模为高斯)占主导地位[18]。我们将无噪声图像y的nlf平方表示为
其中β1是噪声的信号相关乘性分量(泊松或镜头噪声),β2是噪声的独立加性高斯分量。然后,相应的噪声图像x剪接到[0,1]将是
对于我们的噪声图像,我们通过Android Camera2API[15]报告相机设备提供的NLF参数,当与[14]匹配时,我们发现它是准确的。为了评估我们的地面真实图像的质量,我们使用[14]来测量它们的NLF。我们使用的第二种噪声度量是噪声的同方差高斯分布,它与图像强度无关,通常用其标准差σ表示。为了测量图像的σ,我们使用了[7]中的方法。 我们包括后一种噪声度量,因为许多去噪算法都要求它与噪声图像一起作为输入参数。
4.地面真相估计
本节提供了用于估计地面真实图像的处理管道的详细信息,以及管道有效性的实验验证。 图3提供了主要步骤的图表:
1.从第3节捕获设置和协议之后捕获一系列图像;
2.所有图像中有缺陷的像素进行校正(第4.1节);
3.省略离群点图像,并应用序列中所有图像的强度对齐(第4.2节);
4.对单个参考图像应用所有图像的密集局部图像对齐(第4.3节);
5.应用稳健回归来估计地面真实图像的基本真实像素强度(4.4节)。
4.1 缺陷像素校正
缺陷像素会影响地面真相估计的准确性,因为它们不遵守在正常像素位置产生噪声的相同的底层随机过程。我们考虑两种缺陷像素:(1)产生比预期更高信号读数的热像素;(2)产生完全饱和信号读数的卡住像素。我们避免通过应用中值滤波器来改变图像内容来消除这些噪声,而是应用以下过程。
首先,为了检测每个摄像机传感器上有缺陷像素的位置,我们在无光环境中捕获了500幅图像。我们记录表示为xa的平均图像,然后估计平均µdark和标准差σdark的高斯分布在平均图像xa中的像素分布上。理想情况下,µdark将是传感器的黑暗水平,σdark将是暗电流噪声的水平。因此,我们认为在n(µdark,σdark)的99.9%置信区间之外的所有像素都是有缺陷的像素。
我们使用累积分布函数(CD F)的加权最小二乘(W L)拟合来估计像素的基本高斯分布。我们使用WLS来避免异常值(即有缺陷的像素)的影响,这可能是相机传感器中总像素的2%。此外,与缺陷像素相比,非缺陷像素的值的方差通常要小得多。这导致我们使用加权方法来稳健地估计底层分布。在检测到缺陷像素位置后,我们使用双三次插值来估计这些位置的正确强度值。图4显示了一个地面真实图像的例子,其中我们应用了我们的缺陷像素校正方法与直接估计的平均图像。在我们使用的相机中,缺陷像素的百分比从0.05%到像素总数的1.86%不等。
图4:在存在缺陷像素的低光图像序列上计算的平均图像(C)的一个例子,以及我们相应的地面真相(D),其中缺陷像素被纠正。 序列中的一个图像显示在(A)中,在(B)中放大。
4.2.强度比对
尽管有控制的成像环境,但由于潜在的硬件不精确,仍然需要考虑场景照明和相机曝光时间的轻微变化。为了解决这个问题,我们首先估计序列中所有图像的平均强度,其中µi是图像i的平均强度。然后,计算所有µi分布的平均µa和标准差σa,并将n(µa,σa)的99.9%置信区间外的所有图像作为离群值,并将它们从序列中删除。最后,我们重新计算µa,并执行强度对齐,移动所有图像具有相同的平均强度:
我们在整个数据集中发现的离群点图像总数只有231幅图像。这些图像通常被明显的亮度变化破坏。
4.3.密集的局部空间排列
在用智能手机捕获图像序列时,我们观察到图像内容在图像序列上有明显的变化。为了进一步研究这个问题,我们将智能手机放置在振动控制的光学工作台上(排除环境振动),并用固定的基准成像平面场景,如图5a所示。我们在500幅图像的序列上跟踪了这些基准,以揭示一种空间变化的模式,它看起来像透镜同轴移位和径向失真的组合,如图5b所示的iPhone7和图5c的谷歌像素。通过类似的实验,我们发现DSLR相机不会产生这样的失真或位移。
图5:(A)静态平面图的一部分,在无振动光学表上成像基准。 在500幅图像序列中,观察到和测量到的像素漂移在第一和最后(500)图像之间的颤动图显示为(B)iPhone7和(C)Google像素。 通过全局2d平移替换我们的局部对准技术,以在合成(B)的局部像素漂移后对齐图像序列的效果。 我们在从摄像机设备估计的NLF的β1参数范围内合成信号相关噪声后,应用了这两种技术。
在进一步的调查中,我们发现这是由于光学图像稳定(OIS)无法禁用,无论是通过API调用,还是因为它是底层摄像机硬件的一部分。 因此,在估计地面真实图像之前,我们必须对所有图像进行局部密集对齐。 为此,我们采用了以下方法对噪声图像进行鲁棒局部对齐(我们对序列中的每个图像重复这个过程):
1.选择一个图像xref作为序列中所有其他图像对齐的参考。
2.将每幅图像划分为512×512像素的重叠块。 我们选择足够大的补丁来解释图像中较高的噪声水平;补丁越大,我们对局部翻译向量的估计就越准确。 我们将这些补丁的中心表示为我们用于下一个注册步骤的目标地标。
3.使用一种精确的基于傅里叶变换的方法[17]来估计每个图像xi中每个补丁相对于参考图像xref对应的补丁的局部翻译向量。 这样,我们就可以获得每个图像的源标记。
4.具有从每个图像xi中的源标记到参考图像xref中的目标地标的相应的局部平移向量,我们基于任意地标对应集[3]应用2d薄板样条图像翘曲将每幅图像对齐到参考图像。 我们发现我们采用的技术比将失调问题作为一个全局2d翻译更准确。
图5d显示了用全局2d翻译代替我们的局部对齐技术的效果。我们将这两种技术应用于合成图像序列,包括合成的局部像素位移和信号相关噪声。合成的局部像素移与从真实图像中测量的移位相同(图5b和5c)。 合成的噪声是基于摄像机设备估计的NLF参数(β1和β2),并使用Camera2API提取。我们的局部对齐技术在一系列真实的噪声水平上始终产生较高的psnr值,而不是2d全局对齐。
在我们的地面真相估计管道中,我们将所有图像以一个序列扭曲到一个参考图像,我们希望对地面真相进行估计。 为了估计序列中另一幅图像的地面真相,我们以该图像为参考,重新应用对齐过程。 这样,我们对数据集中的每个图像都有不同的地面真相。
4.4.稳健平均图像估计
一旦图像对齐,下一步是估计平均图像。 直接均值将被偏置,因为裁剪效应的不足照明或过度曝光像素[13]。为了解决这一问题,我们提出了一种鲁棒的技术来解释这种裁剪效果。 考虑整个n个图像序列中j位置像素的所有观测,表示为
由于传感器的最小和最大测量极限,我们需要稳健地估计该像素的基本无噪声值µˆj,并存在删失观测值。 因此,我们采用以下方法对µˆj进行鲁棒估计,而不是简单地计算χj的平均值:
1.删除在归一化线性rawrgb空间中强度等于0或1的可能删失的观测值:
2.将χ‘j的经验累积分布函数(CDF)定义为
3.定义一个正态分布的参数累积分布函数,其平均µp和标准差σp为
4.定义一个目标函数,表示φe和φp之间的平方误差的加权和。
其中,我们选择权重wt来表示一个凸函数,使得权重补偿拟合的cd f值的方差,这些值在分布的尾部最低,在平均值附近最高:
5.通过最小化方程9来估计χ‘j的平均µˆj和标准差σˆj:
使用无导数单纯形搜索方法[20]。
为了评价我们采用的WLS方法估计受强度裁剪影响的平均图像,我们对合成图像进行了添加合成噪声和施加强度裁剪的实验。我们使用从真实图像中估计的NLF参数来合成噪声。 然后应用我们的方法估计平均图像。 我们将结果与最大似然估计(MLE)和删节进行了比较,这是检查数据回归常用的方法,如图6所示。我们在一系列图像(图6a)和一系列合成NLFS(图6b)上重复了实验。 作为参考,我们绘制了平均图像在(绿线)之前和(黑线)之后应用强度裁剪的直接计算误差。我们采用的WLS方法的误差远低于MLE,几乎与裁剪前对平均图像的直接计算一样低。
图6:用于估计平均图像的方法之间的比较:(A)在图像的数量范围内和(B)在信号相关噪声(β1)的第一个参数范围内。 采用的方法,WLS拟合的CD F与审查,产生最低的MSE。
我们的Sidd数据集与DND数据集的质量:为了评估我们的管道与dnd后处理[25]相比估计的地面真实图像的质量,我们要求dnd的作者对我们的五个低/高iso图像对进行后处理。然后,我们使用[7]估计了这些图像中固有的噪声水平,并将它们与我们相同的五个场景的地面真相进行了比较,如图7a所示。 我们的管道产生较低的噪声水平,因此,更高质量的图像,在五个图像中有四个。此外,图7b显示了与DND数据集相比,我们数据集中的噪声水平分布。 在我们的数据集中更广泛的噪声水平使它成为一个更全面的基准测试在不同的成像条件和更有代表性的智能手机相机图像。
图7:(A)我们的地面真相图像中的噪声水平与[25]估计的五个场景的地面真相之间的比较。 我们的地面真相有较低的噪音水平,在五个图像中有四个。 (b)我们数据集中的噪音水平与数据集的比较
5.基准
在这一节中,我们基准了一些有代表性和最先进的去噪算法,以检查它们在真实噪声图像上的性能与我们恢复的地面真相。我们还表明,如果对真实的噪声图像进行训练,而不是将合成的噪声图像和/或低iso图像作为地面真相,则基于cnn的方法的性能可以得到显著提高。
5.1.设置
为了进行基准测试,我们从Sidd数据集中为每个场景实例选择了200幅地面真实图像。从这200幅图像中,我们仔细选择了40幅图像的代表性子集,用于本文的评估实验和一个基准网站也将发布,而其他160幅噪声图像及其地面真实图像将用于培训目的。由于许多去噪器在计算上是昂贵的(有些需要一个多小时来去噪一个1像素的图像),我们通过将去噪器应用于随机选择的32个大小为256×256块上应用去噪器来加速比较,总共有1280个图像块。通过在装有英特尔®Xeon®CPUE5-2637V4@3.50G Hz和128GB内存的同一台机器上运行它们的单线程,得到了台架算法的计算时间。
基准算法有:BM3D[10]、NLM[4]、KSVD[1]、LPG-PCA[32]、FOR[27]、MLP[6]、WNM[16]、滑翔[29]、TNRD[8]、EPLL[35]和dncnn[33]。对于bm3d[10],我们在原始RGB空间中应用了anscombe bm3d[23],在srgb空间中应用了cbm3d[9]。对于ksvd,我们基准了原始算法[11]的两个变体,一个使用DCT过完备字典,这里表示为ksvd-dct,另一个使用自然图像补丁的全局字典,这里表示为ksvd-g。为了对基于学习的算法(例如MLP、TNRD和dncnn)进行基准测试,我们使用现有的训练模型,以便与其他算法进行公平的比较;然而,在5.3节中,我们展示了在我们的数据集上训练DN CNN的优势。 我们在原始RGB和sRGB空间中应用了所有算法..然而,在RAW-RGB空间中的去噪是在RAWR GB和转换为SRGB后进行的。 在所有情况下,我们根据我们的地面真相图像来评估性能。 对于原始RGB图像,我们分别对每个CFA信道进行去噪..为了将图像从原始RGB呈现到srgb,我们使用来自dng文件的元数据模拟相机处理管道[19]。大多数基准算法作为输入参数,要求以均匀功率高斯分布(σ)的标准差或信号相关噪声电平函数的两个参数(β1和β2)的形式估计图像中的噪声。我们遵循第3.2节中的相同程序,提供噪声的估计作为算法的输入。
5.2.结果和讨论
表1:去噪性能psnr(D b)、ssim和去噪时间(秒)每1个像素图像(1024×1024像素)的基准方法平均超过40幅图像构成我们的Sidd基准。 前三种方法是用颜色(绿色、蓝色和红色)自上而下的性能顺序表示的,最好的结果是粗体。 作为参考,原始RGB和SRGB中基准图像的平均psnrs分别为36.70db和19.71db,原始RGB和SRGB的平均ssim值分别为0.832和0.397。 值得注意的是,文献[25]中噪声图像的平均psnrs为39.39d b(RAW-RGB)和29.98(SrGB),表明噪声水平低于我们的数据集。
表1显示了基准算法在峰值信噪比(PSN R)、结构相似性(Ssim)[31]和去噪时间方面的性能。然而,我们的讨论将集中在基于psnr的方法排序上,因为性能最好的方法往往具有相似的ssim分数,特别是在原始RGB空间中。从psnr结果中,我们可以看到,经典的基于补丁和基于优化的方法(例如,bm3d、ksvd、lpgpca和wnnm)在实际图像上测试时,性能优于基于学习的方法(例如MLP、TNRD和dncnn)。这一发现也在[25]中观察到。 此外,我们还对[25]中没有研究的一些方法进行了基准测试,并进行了一些有趣的观察。一是在DCT和全局字典上训练的经典ksvd算法的两个变体,在srgb空间去噪的情况下,达到了最好的和第二好的psnrs。这主要是因为底层字典很好地代表了srgb空间中小图像块的分布。 另一个观察是,与srgb空间中的去噪相比,Rawrgb空间中的去噪具有更高的质量和更快的去噪速度,如表1所示。此外,我们还可以看到,bm3d仍然是文献中最快的去噪算法之一,以及基于tnrd和字典的ksvd,其次是其他鉴别方法(例如dncnn和MLP)和NLM。此外,这种去噪时间的检查引起了人们对一些去噪方法的适用性的关注。 例如,虽然WNNM是最好的脱硝剂之一,但它也是最慢的。总的来说,我们发现bm3d算法在去噪质量和计算时间相结合方面仍然是表现最好的算法之一。
5.3.cnn训练应用
为了进一步研究我们的高质量地面真相图像的有用性,我们使用它们来训练dncnn去噪模型[33],并将结果与在处理后的低iso图像[25]上训练的相同模型作为另一种类型的地面真相进行比较。对于每种类型的地面真相,我们用两种类型的输入来训练dncnn:我们的真实噪声图像和我们的地面真实图像,加上合成高斯噪声。对于合成噪声,我们使用真实噪声图像估计的平均噪声水平(σµ)来合成噪声。 我们发现,使用高于σµ的噪声水平进行训练会产生较低的测试性能。为了进一步评估这四个训练案例,我们对随机选择的原始RGB图像补丁的两个子集进行了测试,一个具有低噪声水平,另一个具有中等到高噪声水平,如表2所示。由于我们只能访问五个低iso图像后处理[25],我们使用它们在子集a,而对于子集b,我们必须后处理额外的低iso图像使用我们自己的实现[25]。 在所有四种训练情况下,我们根据我们的地面真实图像测试性能。
图8:在数据集的两个随机子集上使用两种类型的地面真值(后处理的低ISO和我们的地面真值图像)和两种类型的噪声(合成和真实)来测试dncn2)。 在真实噪声上训练我们的地面真相会产生最高的psnrs。
图8显示了dncnn的测试结果,使用两种类型的地面真相进行训练(后处理的低ISO与我们的地面真相图像)和两种类型的噪声(合成和真实)。结果显示了两个子集a和b。我们可以看到,使用真实噪声的地面真相的训练产生最高的psnrs,而使用具有真实噪声的低等地面真相产生较低的psnrs。原因之一是低iso图像中的剩余噪声.. 此外,后处理可能不足以消除低和高iso图像之间的强度和空间失调。此外,在合成噪声上训练的模型同样地执行,而不考虑潜在的地面真相。这是因为这两种模型都是在相同的高斯噪声分布上训练的,因此学会了对相同分布的建模。此外,bm3d在低噪声水平(子集a)上的表现相当好,而在我们的地面真实图像上训练的dncnn在所有噪声水平(两个子集)上的表现明显优于bm3d。为了研究是否有偏见使用我们的地面真相作为评估的参考,我们比较了四个模型中去噪块的无参考噪声估计(β1、β2和σ)。如表3所示,用真实噪声对我们的地面真相进行训练,主要产生最高的质量,特别是对于β1,这是信号相关噪声的主要成分[30]。
6.结论
本文解决了对高质量图像数据集进行智能手机相机去噪研究的严重需求。 为了实现这一目标,我们为五款具有代表性的智能手机创建了一个由~30,000幅图像组成的公共数据集,包含相应的高质量地面真实图像。我们提供了一个详细的描述,如何捕获和处理智能手机图像,以产生这个地面真相数据集。 使用这个数据集,我们已经对许多现有的方法进行了基准测试,以揭示基于补丁的方法仍然优于使用传统的地面转换方法训练的基于学习的方法。我们使用我们的图像(特别是dncnn[33])训练基于cnn的方法的初步结果表明,基于cnn的方法在对适当的地面真实图像进行训练时,可以优于基于补丁的方法。我们相信,我们的数据集和我们的相关发现将有助于推进用智能手机捕获的图像的去噪方法。
这篇关于《A High-Quality Denoising Dataset for Smartphone Cameras》阅读笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!