Faster Read: Deep High Dynamic Range Imaging of Dynamic Scenes

SIGGRAPH 2017, University of California, San Diego

论文名称：

Deep High Dynamic Range Imaging of Dynamic Scenes

keywords: High Dynamic Range Imaging, CNN(Convolutional Neural Network)

以下大意翻译是自己基于原文的理解：

Abstract:

多曝光度合成HDR现有的方法是先对齐，再合成。但是对齐会产生鬼影或撕裂的artifact。这种artifact会跟着被保留到最后合成的HDR图像中。作者用了CNN合成3个LDR到一个HDR。他们对比了3个不同的CNN结构，效果很nb。而且还提出了一个数据库。

论文写作思路理解：

Intro里包括故事，为啥会存在这个合成的问题；已存在的解决方式有什么不足；我们提出的方法可以解决什么未解决的问题；和论文的主要贡献。再介绍自己的算法，算法展开的不同CNN网络结构，怎么tone mapped的，loss func，推倒bp用的偏导公式，说明数据是怎么拍的，输入前怎么处理的，训练的细节等。第五节开始对比结果，对比相同和不同数据集的不同方法。量化metrics用的PSNR和HDR-VDP-2，结果打败了其他算法。然后用大篇幅分析对比图片。最后说出不足，总结。总的来说突出了算法是有数学理论支持的。后面感觉有点拖沓。

故事逻辑线：

一般的照相机会照出过/欠曝光区域，因为相机的动态范围(DR)小。最常用的用普通相机拍HDR的方法是连拍不同曝光度的LDR图片，再合成HDR。这么拍好，但是场景动或者镜头抖的时候会有鬼影。一般这种问题可以被分为两步：1）先对齐LDR图片，2）合成对齐的LDR imgs。解决对齐的方法被广泛的研究过，有很多nb的optical flow的算法被挖掘出来，可以对齐复杂的非刚性移动。但是在第二步合成的时候会产生artifact。

我们通过观察发现artifact可在第二步合成种减少很多。但是要检测artifact的区域很复杂。所以呢，我们提出用训练数据来学习这个process。如果有3张不同expo的LDR imgs，把expo强和弱的两张向中间一张用optical flow的对齐，然后用三张对齐的LDR imgs作为CNN的输入近拟出HDR。当然中间的LDR和gt的HDR是不一样的。看下图的左边三张人物都在动，三张合成中间那个。