BSP-Net: Generating Compact Meshes via Binary Space Partitioning精讲

2024-04-16 17:08

本文主要是介绍BSP-Net: Generating Compact Meshes via Binary Space Partitioning精讲,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在近日举行的 CVPR 2020 大会上,最佳论文、最佳学生论文等奖项悉数公布。加拿大西蒙弗雷泽大学陈之钦(Zhiqin Chen )等人的「BSP-Net」相关研究获得了最佳学生论文奖,他们的论文题目是《BSP-Net: Generating Compact Meshes via Binary Space Partitioning》。在最新一期的机器之心 CVPR 2020 线上论文分享中,西蒙弗雷泽大学 (SFU) 博士一年级学生陈之钦以第一作者的身份向我们分享了这篇最佳学生论文。

在这项研究中,西蒙弗雷泽大学和谷歌研究院的三位研究者提出了一种无监督方法,能够通过 convex decomposition 生成紧凑的结构化多边形网格。

图片

  • 论文地址:https://arxiv.org/pdf/1911.06971.pdf

  • 项目地址:https://github.com/czq142857/BSP-NET-original

多边形网格在数字 3D 领域无处不在,但它们在深度学习革命中仅扮演了配角。在学习形状生成模型这一方向上,领先方法要依赖于隐函数,并且只有经过昂贵的 iso-surfacing 处理过程才能生成网格。为了克服这些困难,该研究在 Binary Space Partitioning(BSP,计算机图形学中的经典空间数据结构)的启发下探讨了促进 3D 学习的方法。

BSP 的核心是对空间进行递归细分以获得 convex set。利用这一属性,研究者设计了 BSP-Net,一个通过 convex decomposition 来学习 3D 形状表征的网络。重要的是,BSPNet 是无监督的,因为训练过程中不需要 convex shape decomposition。

该网络经过训练,利用一组 convex 来重建一个形状,这些 convex 来自构建在一组平面上的 BSPtree。由 BSPNet 推断出的 convex 可被轻松提取以形成多边形网格,而无需进行 iso-surfacing 处理。生成的网格是紧凑的(即 low-poly),非常适合表示尖锐的几何形状。此外,它们一定是紧密的网格,并且可以轻松地被参数化。该研究还表明,BSP-Net 的重构质量可以媲美 SOTA 方法,且它使用的 primitive 要少得多。

 

方法详解

 

该研究试图找到一种既能训练又可解释的几何图形深度表征。研究者们通过设计一种能提供可微分 BSP-tree 表征的网络架构来完成这个任务。由于这种表征通过隐函数编码几何图形,所以它们很容易训练。此外,由于这些表征的输出是 convex polytope 的集合,所以它们是可解释的。

研究者提出了 BSP-Net。该网络学习一个隐式场:给定 n 个点的坐标和一个形状特征向量作为输入,网络输出一些能够指示这些点是在形状内部还是外部的值。这个隐函数的构造如图 2 所示,由三个步骤组成:1)平面方程的集合意味着空间的 p 个二叉分割的集合,参见图 2(上);2)一个算子 T_{p×c}将这些分割结果分组,以创建一个包含 c 个 convex shape primitive/part 的集合;3)最后,合并这些 part 集合以生成输出形状的隐式场。

图片

下图 3 显示了与以上三个步骤对应的网络架构:

图片

1)超平面提取。给定一个特征向量 f,应用一个多层感知机图片获取平面参数 P_{px4},其中 p 是平面的数量,即图片

对于任意点图片,乘积图片 是该点到每个平面的符号距离的向量。如果点 X 在内部,则第 i 个距离为负值,反之为正值。

2)超平面分组。为了将超平面分为若干组几何 primitive,研究者利用了二进制矩阵 T_{p×c}。通过一个最大池化操作,他们聚合了输入平面,以形成一组 c 个 convex primitive 组成的集合。

图片

注意,在训练期间,梯度只能通过一个最大(max)的平面。因此,为了简化训练,研究者利用了一个用求和代替 max 的版本。

图片

3)形状组装。该层通过最小池化对 convex 进行分组,以创建一个可能非凸的输出形状:

图片

注意,此处用 C^+ 是有目的的。之所以避免使用 C^*,是因为在 TensorFlow 1 中的算子实现内存不够高效。

为了促进学习,研究者通过使用(加权)求和来将梯度分配给所有的 convex:

图片

实验结果与评估

 

在一个 2D 形状合成数据集上,研究者分析了 BSP-Net 的行为。此外,他们还将 BSP-Net 与其他 SOTA 方法进行了比较,以评估该研究中的自编码器以及单视图重建效果。

 

2D 形状自编码

 

为了说明 BSP-Net 效果如何,研究者构建了一个 2D 合成数据集。他们在几个 64 × 64 的图像上分别放置了一个菱形、一个十字以及一个空心菱形,如图 4(a)所示。这三种形状是有顺序的,菱形总是在左边,空心菱形总是在右边,这是为了模仿 ShapeNet 等形状数据集的结构。

在第一阶段的训练之后,该研究的网络已经实现了良好的近似 S^+ 重建,但是,通过查看 S^∗,研究者发现他们推断的输出还存在一些缺点。在第二阶段进行了调整之后,该研究的网络实现了近乎完美的重构。最后,使用 overlap 损失显著提高了表示的紧凑性,减少了每部分的 convex 数量,如图 4(d)所示。

图片

图 4:在 2D 合成数据集上的评估——自编码器是在合成的 2D 数据集上训练的。研究者展示了自编码结果,并用红色圈出了第一阶段中存在的错误,这些错误在第二阶段已改正。此外,研究者还展示了使用 overlap 损失的效果。注意,在可视化时,使用了不同的颜色来表示不同的 convex。

 

3D 形状自编码

 

对于 3D 形状的自编码,研究者将 BSP-Net 与其他一些 shape decomposition 网络进行了比较,包括 Volumetric Primitives(VP)、Super Quadrics(SQ)以及 Branched Auto Encoders(BAE)。

表 2 给出了每种类别的分割结果。

图片

BSP-Net 在保证高分割准确度的同时,也能显著提高重构质量,如表 1 和图 7 所示。

表 1:各个模型的表面重构质量和 3D 形状自编码结果对比。

图片

图 7:分割和重建 / 定性研究。

 

单视图重建(SVR)

 

在单视图重建任务上,研究者将 BSP-Net 与 AtlasNet、IMNET 和 OccNet 做了比较,表 3 和表 4 中给出了定量分析结果,在图 8 中给出了定性结果。

图片

表 3:单视图重建,与 SOTA 方法的比较。

图片

表 4:low-poly 分析——单视图重建中的数据集平均指标。

图片图 8:单视图 3D 重建,该模型与 AtlasNet [16]、IM-NET [5]及 OccNet [28]的比较结果。

扫描二维码

获取更多精彩

机器之眼

图片

这篇关于BSP-Net: Generating Compact Meshes via Binary Space Partitioning精讲的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/909398

相关文章

poj 1258 Agri-Net(最小生成树模板代码)

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码:效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n

uva 575 Skew Binary(位运算)

求第一个以(2^(k+1)-1)为进制的数。 数据不大,可以直接搞。 代码: #include <stdio.h>#include <string.h>const int maxn = 100 + 5;int main(){char num[maxn];while (scanf("%s", num) == 1){if (num[0] == '0')break;int len =

如何在Visual Studio中调试.NET源码

今天偶然在看别人代码时,发现在他的代码里使用了Any判断List<T>是否为空。 我一般的做法是先判断是否为null,再判断Count。 看了一下Count的源码如下: 1 [__DynamicallyInvokable]2 public int Count3 {4 [__DynamicallyInvokable]5 get

2、PF-Net点云补全

2、PF-Net 点云补全 PF-Net论文链接:PF-Net PF-Net (Point Fractal Network for 3D Point Cloud Completion)是一种专门为三维点云补全设计的深度学习模型。点云补全实际上和图片补全是一个逻辑,都是采用GAN模型的思想来进行补全,在图片补全中,将部分像素点删除并且标记,然后卷积特征提取预测、判别器判别,来训练模型,生成的像

.NET 自定义过滤器 - ActionFilterAttribute

这个代码片段定义了一个自定义的 ASP.NET Core 过滤器(GuardModelStateAttribute),用于在控制器动作执行之前验证模型状态(ModelState)。如果模型状态无效,则构造一个 ProblemDetails 对象来描述错误,并返回一个 BadRequest 响应。 代码片段: /// <summary>/// 验证 ModelState 是否有效/// </

226 Invert Binary Tree

//226 Invert Binary Tree//算法思路:主要使用递归算法public class Solution {public TreeNode invertTree(TreeNode root) {//1 出口 空节点if (root==null)return null;//2 递归 调用自己TreeNode left = root.left;TreeNode right = ro

.Net Mvc-导出PDF-思路方案

效果图: 导语:     在我们做项目的过程中,经常会遇到一些服务性的需求,感到特别困扰,明明实用的价值不高,但是还是得实现;     因此小客在这里整理一下自己导出PDF的一些思路,供大家参考。     网上有很多导出PDF运用到的插件,大家也可以看看其他插件的使用,学习学习; 提要:     这里我使用的是-iTextSharp,供大家参考参考,借鉴方案,完善思路,补充自己,一起学习

.net MVC 导出Word--思路详解

序言:          一般在项目的开发过程中,总会接收到一个个需求,其中将数据转换成Work来下载,是一个很常见的需求;          那么,我们改如何处理这种需求,并输出实现呢?          在做的过程中,去思考 1、第一步:首先确认,Work的存在位置,并创建字符输出路:             //在的项目中创建一个存储work的文件夹             string

asp.net 中GridView的使用方法

可以看看,学习学习 https://blog.csdn.net/zou15093087438/article/details/79637042

PostgreSQL分区表(partitioning)应用实例详解

https://www.jb51.net/article/97937.htm   PostgreSQL分区表(partitioning)应用实例详解  更新时间:2016年11月22日 10:25:58   作者:小灯光环    我要评论   这篇文章主要为大家详细介绍了PostgreSQL分区表(partitioning)应用实例,具有一定的参考价值,感兴趣的小伙伴们可以参考一下