论文解读:Cycle ISP Real Image Restoration via Improved Data Synthesis

本文主要是介绍论文解读:Cycle ISP Real Image Restoration via Improved Data Synthesis,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Cycle ISP: Real Image Restoration via Improved Data Synthesis

谷歌去年发表了一篇文章:Unprocessing Images for Learned Raw Denoising,是关于如何构造逼近真实的数据来进行降噪的,在去年的文章里,研究者们主要是模拟了 ISP 中从 RAW 图到 sRGB 的过程,然后将 ISP 的过程逆转过来,从 sRGB 到 RAW,然后再在 RAW 域上添加噪声,从而构造出符合真实场景的噪声数据。

今年谷歌又发表了一篇类似的文章,还是关于如何构造真实的仿真数据来做图像恢复,看来谷歌在构造数据这块已经做了很多的研究了,今年这篇文章叫 Cycle ISP, 核心思想还是基于 ISP 流程,去年的文章是一步一步通过各种算法模块,将 ISP 中的降噪,白平衡,gamma 变换,tone mapping 等串起来,今年的这篇文章直接用网络进行了端到端的模拟,不过与一般的端到端方式不同的是,这篇文章采样了一个循环的方式,从 sRGB 到 RAW 图,然后再从 RAW 图回到 sRGB, 所以这个框架称为 Cycle ISP, 有循环轮回的感觉。

具体的框架示意图如下所示:

在这里插入图片描述

从上图可以看出,整个框架有三个部分,一部分是 RGB2RAW, 实现的是从 RGB 到 RAW 图的变换,另外一部分是 RAW2RGB,实现的是从 RAW 域到 RGB 的转换,还有部分是 color correction,实现颜色的变换。整个算法框架的目的,也是为了将网络训练成能够构造更加真实的数据,一旦网络训练完成,那么 RGB2RAW 的这部分网络,就可以通过大量的 RGB 图得到真实 RAW 图,注意,这个时候的 RAW 图其实是没有噪声的,类似完美的无噪声 RAW 图,然后对这些 RAW 图添加噪声,就能得到噪声 RAW 图与无噪声 RAW 图的训练对,从而可以用来训练降噪网络。

这个方法与去年的方法相比,好处在于不再需要人为地构造变换函数了,直接端到端的完成。

RGB2RAW branch

这个模块,完成 RGB2RAW 的变换,给定一张 RGB 图像, I r g b ∈ R H × W × 3 \mathbf{I}_{rgb} \in R^{H \times W \times 3} IrgbRH×W×3,先借助常规的卷积网络,得到多个 feature map,然后再利用多个 recursive residual groups (RRGs) 进一步进行特征提取,整个过程可以表示为:

T 0 = M 0 ( I r g b ) T d = R R G N ( . . . R R G 1 ( T 0 ) ) T_0 = M_0({\mathbf{I}_{rgb}}) \\ T_d = RRG_N(...RRG_1(T_0)) T0=M0(Irgb)Td=RRGN(...RRG1(T0))

后面再接一个卷积层,得到 3 个通道的 feature map,最后再做一个 Bayer 模式的采样,得到输出的 RAW 图:

I ^ r a w = f b a y e r ( M 1 ( T d ) ) \hat{\mathbf{I}}_{raw} = f_{bayer}(M_1({T_d})) I^raw=fbayer(M1(Td))

这个模块,主要是利用 L 1 L_1 L1 loss 来进行训练:

L s 2 r ( I ^ r a w , I r a w ) = ∥ I ^ r a w − I r a w ∥ 1 + ∥ log ⁡ ( max ⁡ ( I ^ r a w , ϵ ) ) − log ⁡ ( max ⁡ ( I r a w , ϵ ) ) ∥ 1 \mathcal{L}_{s2r}( \hat{\mathbf{I}}_{raw}, \mathbf{I}_{raw} ) = \left\| \hat{\mathbf{I}}_{raw} - \mathbf{I}_{raw} \right\|_{1} + \left\| \log(\max(\hat{\mathbf{I}}_{raw}, \epsilon )) - \log(\max(\mathbf{I}_{raw}, \epsilon )) \right\|_{1} Ls2r(I^raw,Iraw)=I^rawIraw1+log(max(I^raw,ϵ))log(max(Iraw,ϵ))1

$ \mathbf{I}_{raw} $ 表示 RAW 图的 ground truth。

RAW2RGB branch

RAW2RGB 分支,实现 RAW 图到 RAG 的转换,这个分支,首先将 RAW 图拆成 RGGB 四个通道,每个通道的分辨率都下降了一倍,从 $ H \times W $ 变成了 H 2 × W 2 × 4 \frac{H}{2} \times \frac{W}{2} \times 4 2H×2W×4,然后类似 RGB2RAW, 先用一个卷积层将 4 个通道变成多个 feature map,然后再经过多个 RRG 模块,得到多个等大的 feature map,整个过程如下所示:

T d ′ = R R G K − 1 ( . . . R R G 1 ( M 2 ( P a c k ( I r a w ) ) ) ) T_{d'} = RRG_{K-1}(...RRG_1(M_2(Pack(\mathbf{I}_{raw})))) Td=RRGK1(...RRG1(M2(Pack(Iraw))))

不过这里需要注意的一点是,这里的 $ \mathbf{I}_{raw} $ 是相机原始的 RAW 图,不是 RGB2RAW 的输出,因为这两个 branch 是分开独立训练的。

  • Color correction unit

除了上面两个主要的分支,Cycle ISP 还引入了一个颜色校正模块,因为网络是基于很多不同的相机数据来训练的,而不同相机的颜色校正系数一般是不同的,所以为了统一这些数据,Cycle ISP 引入了一个颜色校正模块,这个模块是嵌入在 RAW2RGB 分支里的,color correction unit 的输入是 RGB 图像,然后经过简单的卷积以及两个 RRG,得到多个 feature map:

T c o l o r = σ ( M 4 ( R R G 2 ( R R G 1 ( M 3 ( K ∗ I r g b ) ) ) ) ) T_{color} = \sigma(M_{4}(RRG_2(RRG_1(M_3(K * \mathbf{I}_{rgb}))))) Tcolor=σ(M4(RRG2(RRG1(M3(KIrgb)))))

这里 ∗ * 表示卷积, K K K 表示高斯核,文章里用的高斯核的标准差是 12,这会带来非常强的模糊效果,从而将细节都基本去除了,只留下颜色, T c o l o r T_{color} Tcolor 和前面得到的 T d ′ T_{d'} Td 做一个 residual 的操作:

T a t t e n = T d ′ + ( T d ′ ⊗ T c o l o r ) T_{atten} = T_{d'} + (T_{d'} \otimes T_{color} ) Tatten=Td+(TdTcolor)

其中 ⊗ \otimes 表示 Hadamard product。

最后再利用一个卷积层,以及一个上采用操作,得到三个通道的 RGB 图像:

I ^ r g b = M u p ( M 5 ( R R G K ( T a t t e n ) ) ) \hat{\mathbf{I}}_{rgb} = M_{up}(M_5(RRG_K(T_{atten}))) I^rgb=Mup(M5(RRGK(Tatten)))

这个分支也是利用 L 1 L_1 L1 loss 来训练:

L r 2 s ( I ^ r g b , I r g b ) = ∥ I ^ r g b − I r g b ∥ 1 \mathcal{L}_{r2s}(\hat{\mathbf{I}}_{rgb}, \mathbf{I}_{rgb}) = \left\| \hat{\mathbf{I}}_{rgb} - \mathbf{I}_{rgb} \right\|_{1} Lr2s(I^rgb,Irgb)=I^rgbIrgb1

RRG: Recursive Residual Group

Cycle ISP 除了常规的卷积层, 一个特别之处在于其使用了很多的 RRG 模块,每个 RRG 模块包含了 P 个 dual attention blocks (DAB) 模块,DAB 模块,通过不同的 attention 机制对特征进行选择:channel attention 和 spatial attention,整个过程可以表示为:

T D A B = T i n + M c ( [ C A ( U ) , S A ( U ) ] ) T_{DAB} = T_{in} + M_c([CA(U), SA(U)]) TDAB=Tin+Mc([CA(U),SA(U)])

其中, U ∈ R H × W × C U \in R^{H \times W \times C } URH×W×C, M c M_c Mc 表示 $ 1 \times 1$ 的卷积,具体的框架示意图如下所示:

在这里插入图片描述

Joint Fine-tuning of CycleISP

最后,就是联合训练整个的 Cycle ISP, 这个时候,RGB2RAW 分支的输出,变成了 RAW2RGB 的输入,整个 loss 函数表示为:

L j o i n t = β L s 2 r ( I ^ r a w , I r a w ) + ( 1 − β ) L r 2 s ( I ^ r g b , I r g b ) \mathcal{L}_{joint} = \beta \mathcal{L}_{s2r}( \hat{\mathbf{I}}_{raw}, \mathbf{I}_{raw} ) + (1 - \beta) \mathcal{L}_{r2s}(\hat{\mathbf{I}}_{rgb}, \mathbf{I}_{rgb}) Ljoint=βLs2r(I^raw,Iraw)+(1β)Lr2s(I^rgb,Irgb)

整个 fine tune 的示意图如下所示:

在这里插入图片描述

Synthetic Realistic Noise Data Generation

一旦 CycleISP 训练好,那么 CycleISP 可以很方便地构造训练数据对,并且可以同时构造 RAW 域数据或者 RGB 数据,输入一张 RGB 图,由 RGB2RAW 分支,可以得到一张 RAW 图,然后对该 RAW 图添加噪声,这样可以得到 R A W c l e a n , R A W n o i s y {RAW_{clean}, RAW_{noisy}} RAWclean,RAWnoisy 训练数据对。

同样的,根据添加噪声的 RAW 图,由 RAW2RGB 分支,可以得到添加了噪声的 RGB 图,这样就构造了 s R G B c l e a n , s R G B n o i s y sRGB_{clean}, sRGB_{noisy} sRGBclean,sRGBnoisy 的训练数据对。

这篇关于论文解读:Cycle ISP Real Image Restoration via Improved Data Synthesis的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/457392

相关文章

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

MCU7.keil中build产生的hex文件解读

1.hex文件大致解读 闲来无事,查看了MCU6.用keil新建项目的hex文件 用FlexHex打开 给我的第一印象是:经过软件的解释之后,发现这些数据排列地十分整齐 :02000F0080FE71:03000000020003F8:0C000300787FE4F6D8FD75810702000F3D:00000001FF 把解释后的数据当作十六进制来观察 1.每一行数据

Java ArrayList扩容机制 (源码解读)

结论:初始长度为10,若所需长度小于1.5倍原长度,则按照1.5倍扩容。若不够用则按照所需长度扩容。 一. 明确类内部重要变量含义         1:数组默认长度         2:这是一个共享的空数组实例,用于明确创建长度为0时的ArrayList ,比如通过 new ArrayList<>(0),ArrayList 内部的数组 elementData 会指向这个 EMPTY_EL

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

Spring 源码解读:自定义实现Bean定义的注册与解析

引言 在Spring框架中,Bean的注册与解析是整个依赖注入流程的核心步骤。通过Bean定义,Spring容器知道如何创建、配置和管理每个Bean实例。本篇文章将通过实现一个简化版的Bean定义注册与解析机制,帮助你理解Spring框架背后的设计逻辑。我们还将对比Spring中的BeanDefinition和BeanDefinitionRegistry,以全面掌握Bean注册和解析的核心原理。

GPT系列之:GPT-1,GPT-2,GPT-3详细解读

一、GPT1 论文:Improving Language Understanding by Generative Pre-Training 链接:https://cdn.openai.com/research-covers/languageunsupervised/language_understanding_paper.pdf 启发点:生成loss和微调loss同时作用,让下游任务来适应预训

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已

lvgl8.3.6 控件垂直布局 label控件在image控件的下方显示

在使用 LVGL 8.3.6 创建一个垂直布局,其中 label 控件位于 image 控件下方,你可以使用 lv_obj_set_flex_flow 来设置布局为垂直,并确保 label 控件在 image 控件后添加。这里是如何步骤性地实现它的一个基本示例: 创建父容器:首先创建一个容器对象,该对象将作为布局的基础。设置容器为垂直布局:使用 lv_obj_set_flex_flow 设置容器

OmniGlue论文详解(特征匹配)

OmniGlue论文详解(特征匹配) 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super