本文主要是介绍小白的论文学习笔记《Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild》,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
这篇论文用百度翻译出来中文题目就是:从野外图像中无监督学习可能对称的可变形三维物体。
我本科是学机械的,然后现在研一转成了视觉方向,这也算是我第一次读三维视觉的文章,现在基础知识非常薄弱,所以有许多地方可能会有问题还希望各位能批评指正。
这篇文章主要写的是:从一幅图像中重建可变形物体实例的3D姿态、形状、反照率和光照,具有极佳的保真度。
文章提出了一种在没有外部监督的情况下,从原始单视角图像中学习3D可变形对象类别的方法。该方法基于自动编码器,自动编码器将每个输入图像分解为深度、反照率、视点和照度。
许多物体类别是对称的。假设一个物体是完全对称的,人们可以通过简单地镜像图像来获得它的虚拟第二视图。事实上,如果镜像图像对之间的对应关系可用,3D重建可以通过立体重建来实现。受此启发,我们试图利用对称性作为几何线索来约束分解。(但是事实上是不对称的)
解决对称性问题的两种方式:
1、显式地(explicitly)对光照进行建模,并且利用其潜在的对称性,并且通过这样,模型可以利用照明作为恢复形状的附加提示。
2、对模型进行扩充,解释对象中潜在的对称性不足
将上面所说的元素组合在一个end-to-end的学习公式中,所有组件都只从原始RGB(红绿蓝)数据中学习。
对称性还可以通过翻转内部表示来增强,这对从概率角度推理对称性特别有用。
本文的方法使用对象类别的单视角图像作为训练数据,假设对象属于弱对称的特定类别(例如人脸),并且输出能够将该类别的任何图像分解成形状、反照率、照明、视点和对称概率的单目预测器。
然后文章紧接着介绍了:
照片几何自动编码器
对称是如何建模的
图像形成的细节和补充感知损失
其中具体的原理公式我还处于懵逼状态,下面附有文章的地址,大家感兴趣可以读一下。
论文链接:
https://arxiv.org/abs/1911.11130
代码地址:
https://github.com/elliottwu/unsup3d
demo地址:
http://www.robots.ox.ac.uk/~vgg/blog/unsupervised-learning-of-probably-symmetric-deformable-3d-objects-from-images-in-the-wild.html
这篇关于小白的论文学习笔记《Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild》的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!