小白的论文学习笔记《Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild》

本文主要是介绍小白的论文学习笔记《Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild》,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这篇论文用百度翻译出来中文题目就是:从野外图像中无监督学习可能对称的可变形三维物体。
我本科是学机械的,然后现在研一转成了视觉方向,这也算是我第一次读三维视觉的文章,现在基础知识非常薄弱,所以有许多地方可能会有问题还希望各位能批评指正。
这篇文章主要写的是:从一幅图像中重建可变形物体实例的3D姿态、形状、反照率和光照,具有极佳的保真度。

文章提出了一种在没有外部监督的情况下,从原始单视角图像中学习3D可变形对象类别的方法。该方法基于自动编码器,自动编码器将每个输入图像分解为深度、反照率、视点和照度。

许多物体类别是对称的。假设一个物体是完全对称的,人们可以通过简单地镜像图像来获得它的虚拟第二视图。事实上,如果镜像图像对之间的对应关系可用,3D重建可以通过立体重建来实现。受此启发,我们试图利用对称性作为几何线索来约束分解。(但是事实上是不对称的)

解决对称性问题的两种方式:
1、显式地(explicitly)对光照进行建模,并且利用其潜在的对称性,并且通过这样,模型可以利用照明作为恢复形状的附加提示。
2、对模型进行扩充,解释对象中潜在的对称性不足

将上面所说的元素组合在一个end-to-end的学习公式中,所有组件都只从原始RGB(红绿蓝)数据中学习。

对称性还可以通过翻转内部表示来增强,这对从概率角度推理对称性特别有用。

本文的方法使用对象类别的单视角图像作为训练数据,假设对象属于弱对称的特定类别(例如人脸),并且输出能够将该类别的任何图像分解成形状、反照率、照明、视点和对称概率的单目预测器。
照片几何自动编码。我们的网络φ将输入图像I分解成深度、反照率、视点和光照,以及一对置信度图。它被训练为在没有外部监督的情况下重构输入
然后文章紧接着介绍了:
照片几何自动编码器
对称是如何建模的
图像形成的细节和补充感知损失

其中具体的原理公式我还处于懵逼状态,下面附有文章的地址,大家感兴趣可以读一下。

论文链接:

https://arxiv.org/abs/1911.11130

代码地址:

https://github.com/elliottwu/unsup3d

demo地址:

http://www.robots.ox.ac.uk/~vgg/blog/unsupervised-learning-of-probably-symmetric-deformable-3d-objects-from-images-in-the-wild.html

这篇关于小白的论文学习笔记《Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild》的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/903781

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识