[MGK∗19] 《Neural rerendering in the wild》(CVPR2019)阅读笔记（完）

本文主要是介绍[MGK∗19] 《Neural rerendering in the wild》(CVPR2019)阅读笔记（完），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、文献拟解决的问题

提出了一个完整的场景捕捉框架，利用网络上的图片进行一个大型建筑的全景捕获——重建和渲染
将输入的场景图像分解为视点，外观，语义标签，并依靠一个近似的几何代理，我们可以渲染出真实感的图像
与过去的一些方法的比较，提高了结果的真实性

效果展示：【Neural Rerendering in the Wild - CVPR 2019-哔哩哔哩】

二、分析的思路

（一）总览

首先，利用传统的三维重建方法（COLMAP）将场景重建为近似的点云数据，并作为几何代理。
然后，利用这个几何代理，学习点云中的场景图像到真实图像之间的映射，增强结果的真实性。

（二）神经渲染框架

在这里插入图片描述

（三）方法过程介绍

图示：
在这里插入图片描述
介绍：

1.关键结构

编码器Ea
输入：真实图像，包含图像信息的深度图（包括法线，反射率及其他信息）
输出：图像与深度图之间的配对数据
渲染网络R
输入：视点，图像与深度图之间的配对数据
输出：渲染结果

2.外观训练方法

第一步：预先训练编码器Ea，提高模型精细度。
第二步：训练渲染网络R
第三步：对两者进行联合训练

（1）网络设计
使用了BicycleGAN，附加了跨域损失计算，用于物体外观在不同视角下的转换。
（2）阶段性训练
简化了渲染网络，以及训练轮数
训练效果如下：
在这里插入图片描述
（3）预训练外观
在预训练外观阶段，我们选择了一个几何代理，并定义了一个输入图像间的距离度规来优化输入图像到外观的合成。
另外，在训练阶段定义了一个三联损失，对于每张图片，正采样后的图片，负采样后的图片进行训练损失的计算。
在这里插入图片描述