本文主要是介绍【论文精读】DALE : Dark Region-Aware Low-light Image Enhancement,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
出处
2020 BMVC
摘要
本文提出了一种新的微光图像增强方法–暗区域感知微光图像增强(DALE),该方法通过视觉注意模块准确地识别暗区域,并对其亮度进行强化。我们的方法可以有效地利用超像素来估计视觉注意力,而不需要任何复杂的过程。因此,该方法可以保持原始图像的颜色、色调和亮度,并防止图像的正常照明区域饱和和失真。实验结果表明,我们的方法通过所提出的视觉注意准确地识别出暗区域,并且在定性和定量上都优于最先进的方法。
论文贡献
1.提出了一种新的注意力模块来识别暗光区域。使其在保留其他区域亮度的同时,密集地增强暗区域的亮度。
2.提出了一个局部光照数据集。
暗区感知的微光增强网络
所提出的微光增强网络由视觉注意网络和增强网络组成。其中注意网络产生可以识别暗区的注意图,而增强网络输出微光增强的图像。网络的整体架构如图所示:
视觉注意网络(VAN)
网络构成
VAN采用U-Net结构(即编码器和解码器)作为主干网络。第一卷积层的核大小为3×3,步长为1。编码器有三个卷积层、残差块和两个下采样层,残差块由具有1×1大小的核的卷积层、ReLU和SE块组成,它们具有不同的扩张因子(即3、2和1)。解码器具有三个卷积层、残差块和两个上采样层。残差块使用不同的扩张因子(即1、2和3)。
损失函数
注意图 V A ( I l o c a l ) VA(I_{local}) VA(Ilocal)和真实图像 I V A G T I_{VAGT} IVAGT的 l 2 l_2 l2损失,公式如下:
L a = ∣ ∣ V A ( I l o c a l ) − I V A G T ∣ ∣ 2 (1) \mathcal{L}_a=||VA(I_{local})-I_{VAGT}||_2\tag{1} La=∣∣VA(Ilocal)−IVAGT∣∣2(1)
其中, I l o c a l I_{local} Ilocal表示具有局部照明区域的低光图像,
感知损失,它在特征层面衡量 V A ( I l o c a l ) VA(I_{local}) VA(Ilocal)和 I V A G T I_{VAGT} IVAGT之间的相似性。公式如下:
L p = ∣ ∣ ϕ ( V A ( I l o c a l ) + I l o c a l ) − ϕ ( I G T ) ∣ ∣ 1 (2) \mathcal{L}_p=||\phi(VA(I_{local})+I_{local})-\phi(I_{GT})||_1\tag{2} Lp=∣∣ϕ(VA(Ilocal)+Ilocal)−ϕ(IGT)∣∣1(2)
其中, ϕ ( ⋅ ) \phi(\cdot) ϕ(⋅)表示的是预先训练的VGG-16网络。
总的损失表示如下:
L V A N = λ 1 L a + λ 2 L p (3) \mathcal{L}_{VAN}=\lambda_1\mathcal{L}_a+\lambda_2\mathcal{L}_p\tag{3} LVAN=λ1La+λ2Lp(3)
增强网络(EN)
所提出的EN使用估计的视觉注意图来增强微光图像的亮度。EN将微光图像和视觉注意图的拼接作为输入。与VAN相似,所有卷积层的核大小均为3×3,步长为1。3个残差块使用从3到1的不同膨胀因子,而我们将所有残差块连接起来进行信息融合。
损失函数
在像素级别上计算微光图像 E N ( I E N ) EN(I_{EN}) EN(IEN)和真实图像 I G T I_{GT} IGT的 l 2 l_2 l2损失,公式如下:
L e = ∣ ∣ E N ( I E N − I G T ) ∣ ∣ 2 (4) \mathcal{L}_e=||EN(I_{EN}-I_{GT})||_2\tag{4} Le=∣∣EN(IEN−IGT)∣∣2(4)
其中 I E N = V A N ( I l o c a l ) + I l o c a l I_{EN}=VAN(I_{local})+I_{local} IEN=VAN(Ilocal)+Ilocal。
同时,计算感知损失去衡量 E N ( I E N ) EN(I_{EN}) EN(IEN)和 I G T I_{GT} IGT之间的相似性。公式如下:
L e p = ∣ ∣ ϕ ( E N ( I E N ) ) − ϕ ( I G T ) ∣ ∣ 1 (5) \mathcal{L}_{ep}=||\phi(EN(I_{EN}))-\phi(I_{GT})||_1\tag{5} Lep=∣∣ϕ(EN(IEN))−ϕ(IGT)∣∣1(5)
总变化损失目的是使输出图像在空间上平滑:
L t v = 1 C H W ∣ ∣ ∇ x E N ( I E N ) + ∇ y E N ( I E N ) ∣ ∣ 2 (6) \mathcal{L}_{tv}=\frac{1}{CHW}||\nabla_xEN(I_{EN})+\nabla_yEN(I_{EN})||^2\tag{6} Ltv=CHW1∣∣∇xEN(IEN)+∇yEN(IEN)∣∣2(6)
最后, E N EN EN的总损失如下:
L E N = λ 1 L e + λ 2 L e p + λ 3 L t v (7) \mathcal{L}_{EN}=\lambda_1\mathcal{L}_e+\lambda_2\mathcal{L}_{ep}+\lambda_3\mathcal{L}_{tv}\tag{7} LEN=λ1Le+λ2Lep+λ3Ltv(7)
这篇关于【论文精读】DALE : Dark Region-Aware Low-light Image Enhancement的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!