Unprocessing Images for Learned Raw Denoising

2023-12-26 19:20

本文主要是介绍Unprocessing Images for Learned Raw Denoising,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

原文

RWA Image Dataset:the Darmstadt Noise Dataset

Abstract

1、Introduction

1、传统图像去噪方法:分析图像属性、对噪声建模(传统方法好像总是这样,建立模型然后用数学方法贴近模型)
TBD:找传统的3-5种方法过一遍

2、深度学习图像去噪方法思路:学习有噪图像到无噪图像的映射。
TBD:深度学习方法的难点:成对数据集怎么获得?需要获得同一场景的有噪声和干净的图片,而且是raw图。

3、先前研究的共有认知:在有噪声的raw图上进行去噪,深度学习的性能好于传统方法。

4、现有方法多基于合成数据集去噪,原因是获得成对的数据成本代价极高

  • 长曝光,曝光后还需要后处理抵消相机运动+光线变化;
  • 大批量数据;
  • 不同相机噪声特性不同,导致构建的数据集泛化性存疑

5、合成的训练数据对噪声的模拟不够真实,导致深度学习方法性能欠佳。——如何让合成的数据贴近真实?是本文试图解决的问题

  • 对 ISP 的步骤建模,从而实现逆操作,实现从 sRGB → RAW 图
  • 这篇文章在做 AIISP 的工作!
  • 评估指标:对Darmstadt Noise Dataset 中的真实噪声raw图进行评估,我们的模型错误率降低了14%-38%,并且比以前的技术水平快9×-18×

2、Related Work

  • 通常对图像噪声的假设:加性高斯白。
  • 短曝光图像暗有噪声,长曝光图像明亮基本无噪声。

Amber:真看不懂

3、Raw Image Pipeline

3.1 Shot and Read Noise

  • RAW 域噪声分布有规律可循,主要分为两大类:shot noise 和 read noise。shot noise主要和环境光照有关,一般满足泊松分布。 read noise 主要和 sensor 中的电路系统有关, 一般满足高斯分布。
  • 对所有的图像强度都有数字增益和模拟增益,增益由相机决定,更准确的说,是‘用户/自动曝光算法’选择的 ISO 光强度的函数。

3.4 White Balance

  • 相机记录的图像是照亮场景的灯光的颜色场景中物体的材质颜色的产物。
  • 白平衡会让一些照明弱下来,变得符合人的视觉习惯。
  • 具体如何实现呢?估计蓝、红通道增益……没懂(TBD)
  • 最朴素的思路:获得数字增益和白平衡增益,然后 rgb图除以增益,实现逆变换。实际实现有更多细节~~~

3.5 Gamma Compression

  • 对图像黑暗区域的渐变更敏感,所以伽马压缩通常用于将更多的动态范围分配给低强度像素。(MARK)

3.6 Tone Mapping

  • 高动态范围图像需要极端的色调映射,但即使是标准的低动态范围图像也经常采用s形曲线处理,以匹配胶片的“特征曲线”。

4、Model

在这里插入图片描述

在这里插入图片描述
PUZZLE:四通道的噪声级别作为输入,这个噪声级别从哪儿来??

TBD:ablation study 效果看看


参考资料1

1、解决数据构造的问题。数据从哪里来?sRGB → RAW → 训练模型

Amber:所以它生成的数据是接近理想情况的吗?

2、深度学习的模型为什么效果好?

数据构造是关键! 模型是方法,数据是根本,数据和真实场景相似度越高,模型学到的信息越真实效果越好。

3、

读论文的简易做法
1、看有没有网友进行了论文要点提炼,先宏观的了解文章要点。

这篇关于Unprocessing Images for Learned Raw Denoising的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/540555

相关文章

论文精读-Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes

论文精读-Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes 优势 1、构建了一个用于监督原始视频去噪的基准数据集。为了多次捕捉瞬间,我们手动为对象s创建运动。在高ISO模式下捕获每一时刻的噪声帧,并通过对多个噪声帧进行平均得到相应的干净帧。 2、有效的原始视频去噪网络(RViDeNet),通过探

docker images

docker 装好docker之后,先掌握一下docker启动与停止 docker启动关闭状态 systemctl 命令是系统服务管理器指令,它是 service 和 chkconfig 两个命令组合。 查看 docker 的启动状态 systemctl status docker 关闭 docker systemctl stop docker 启动 docker syste

Android raw,assets目录源使文件格式使用

播放raw目录下的mp3文件: MediaPlayer mediaPlayer1;mediaPlayer1 = MediaPlayer.create(this, R.raw.boot); //文件路径 /raw/boot.mp3mediaPlayer1.start();mediaPlayer1.stop(); 读取assets目录下图片资源文件: <Im

ZYNQ LWIP (RAW API) UDP函数学习

1 RAW API接口 RAW API是基于回调函数实现的API接口,它是很底层的API接口,这需要开发者对LwIP有较深的了解才能很好使用它,RAW API的核心就是对控制块的处理,因为对于报文数据的处理、注册回调函数等都是需要开发者自己去实现,都是比较麻烦的,但是有一个优点,那就是处理数据效率高。 2 RAW API的UDP函数说明 udp_new()–新建控制块 在使用UDP协议进行通

k8s执行crictl images报错

FATA[0000] validate service connection: CRI v1 image API is not implemented for endpoint "unix:///run/containerd/containerd.sock": rpc error: code = Unimplemented desc = unknown service runtime.v1.Ima

BM3D--Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering

系列文章目录 文章目录 系列文章目录前言稀疏三维变换域协同滤波图像去噪摘要1 引言2 分组和协作过滤A.分组B.按匹配分组C.协同过滤D.基于变换域收缩的协同过滤 3 算法结论 前言 论文地址 如果下载不了可以从 https://download.csdn.net/download/m0_70420861/89708940 获取 参考博客 :图像去噪算法:NL-Me

mkimage command not found - U-Boot images will not be

ubuntu14.04编译内核报错: "mkimage" command not found - U-Boot images will not be built make[1]: *** [arch/arm/boot/uImage] Error 1 make: *** [uImage] Error 2 按照错误提示安装uboot-mkimage # apt-get install uboo

SAM 2: The next generation of Meta Segment Anything Model for videos and images

https://ai.meta.com/blog/segment-anything-2/  https://github.com/facebookresearch/segment-anything-2  https://zhuanlan.zhihu.com/p/712068482

微信接口$GLOBALS['HTTP_RAW_POST_DATA']接收不到值

$xml = $GLOBALS['HTTP_RAW_POST_DATA']; 打印$xml出来,结果是null 使用的是php7,原因是php7已移除这个全局变量,改成 $xml = file_get_contents("php://input"); 即可

RAW格式转化为BMP

首先先介绍C++中图像数据分配内存方法。   在计算机中图像是一个二维的数字点阵。 比较容易想到的是申请一个二维矩阵来存储图像 如: BYTE image[512][512]; 可以存储一幅512*512个像素的图像,每个像素用一个字节表示,一个字节能表示0-255共256个不同取值。所以这一二维数组比较合适存储灰度图像。   对于二维彩色图像,如果每个像素分别有R,G,B 3个颜色分量,则可以