Unity Meta Quest MR 开发（四）：使用 Scene API 和 Depth API 实现深度识别和环境遮挡

2024-02-12 13:28
文章标签 meta 实现 使用 开发 深度 环境 mr api unity 识别 遮挡 scene depth quest

本文主要是介绍Unity Meta Quest MR 开发（四）：使用 Scene API 和 Depth API 实现深度识别和环境遮挡，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 📕教程说明
  • 📕Scene API 实现遮挡
  • 📕Scene API 实现遮挡的缺点
  • 📕Depth API 实现遮挡
    • ⭐导入 Depth API
    • ⭐修改环境配置
    • ⭐添加 EnvironmentDepthOcclusion 预制体
    • ⭐给物体替换遮挡 Shader
    • ⭐取消现实手部的遮挡效果

此教程相关的详细教案，文档，思维导图和工程文件会放入 Spatial XR 社区。这是一个高质量 XR 社区，博主目前在内担任 XR 开发的讲师。此外，该社区提供教程答疑、及时交流、进阶教程、外包、行业动态等服务。

社区链接：
Spatial XR 高级社区（知识星球）
Spatial XR 高级社区（爱发电）

在这里插入图片描述

📕教程说明

这期教程我将会介绍如何在 Unity 中，分别利用 Meta XR SDK 中的 Scene API 和 Depth API，来实现现实物体遮挡位于后方的虚拟物体的效果。

配套的视频链接：
https://www.bilibili.com/video/BV1GH4y1h7Py

一体机开发环境配置可参考：https://blog.csdn.net/qq_46044366/article/details/133967343

配置一个基本的玩家物体可以参考前几期教程：https://blog.csdn.net/qq_46044366/article/details/134097455

MR 透视配置可参考：
https://blog.csdn.net/qq_46044366/article/details/135612769

Scene API 配置可参考:
https://blog.csdn.net/qq_46044366/article/details/135930423

系列教程专栏：https://blog.csdn.net/qq_46044366/category_12118293.html

​电脑操作系统：Windows 11

使用的 VR 设备：Meta Quest 3（Quest 系列都适用，但是 Depth API 的部分目前只适用于 Quest 3）

使用的 Unity 版本：2022.3.15 f1c1 LTS

Meta XR SDK 版本：v60

Meta Quest 系统需要是 v40 及以上

官方文档：https://developer.oculus.com/documentation/unity/unity-gs-overview/

Depth API 官方文档：https://developer.oculus.com/documentation/unity/unity-depthapi/

Depth API 官方 Github 项目链接：https://github.com/oculus-samples/Unity-DepthAPI

最终效果：

在这里插入图片描述
在这里插入图片描述

📕Scene API 实现遮挡

在上一期配置 Scene API 实现虚拟与现实物体之间碰撞的教程中，我们可以在 Project 窗口的搜索栏中搜索 SelectivePassthrough，在 Packages 文件夹下找到这个材质。

在这里插入图片描述

然后我们自己创建了一个和这个官方透视材质一模一样的材质，这样后续可以对材质做一些自定义的设置。我们在 Assets 文件夹下的任意一个文件夹中创建了一个材质，叫做 CustomSelectivePassthrough，然后把 Shader 改成 Oculus/SelectivePassthrough。但是如果我们按照上一期教程的步骤把材质的 Render Queue 设为 5000，那么我们运行程序后，如果把一个虚拟小球放在具有透视材质的现实物体之后，我们还是可以看到墙之后的小球的。

在这里插入图片描述

如果想要让具有透视材质的现实物体遮挡虚拟小球，可以把透视材质的 Blend Color 由原来的 ReverseSubstract 改为 Substract 。此外，我在弹球 Demo 中给球加了个高亮材质，当手对准球的时候，显示球的高亮材质。如果我们想要看到球的高亮材质，还需要让透视材质的 Render Queue 小于球的高亮材质，且大于小球本身的材质。（如下图所示）

在这里插入图片描述

Render Queue 依据什么修改？首先 Render Queue 越大，材质越透明，并且在渲染顺序中越后渲染。

在这里插入图片描述

我们看高亮材质的 Render Queue，它是 3110：

在这里插入图片描述

如果透视材质的 Render Queue 按照上期教程设为了 5000，那么它比 3110 大，因此透视材质后渲染，并且这两个材质都是透明的材质。经过 Substract 混合一下会导致高亮材质看不到了，相当于透视材质盖住了高亮材质。

如果透视材质的 Render Queue 小于高亮材质，那么透视材质先渲染，高亮材质后渲染，这种情况下就能正常显示高亮材质。

总结一下，如果透视材质的 Blend Color 设为了 Substract，如果在场景中看不到某个其他的透明材质（比如球的高亮材质），可以让透视材质的 Render Queue 小于该透明材质，这样就能够看到该透明材质。

最终效果：

在这里插入图片描述

📕Scene API 实现遮挡的缺点

Scene API 实现的遮挡主要有两个缺点：

  1. 任何形状的物体都被当成了 2D 平面或者 3D 立方体。比如下方这张图，现实中桌子的下方是空的，但是它被系统当作了一个完整的立方体，因此桌子下方空的部分也会遮挡住小动物的一部分身体。

在这里插入图片描述

  1. Scene API 只能实现静态物体的遮挡。如果在空间设置完毕之后将一个现实物体进行移动，那么它所对应的场景模型中的虚拟物体并不会改变位置。假如我们想实现现实中双手与虚拟物体的遮挡，就不能用 Scene API 来实现。因为手可能会在不断运动。

📕Depth API 实现遮挡

Depth API 是 Quest 3 特有的功能，因为 Quest 3 有一个深度传感器，能够获取现实物体与相机之间的深度信息，因此能够判断现实物体和虚拟物体到相机的距离，来处理现实物体和虚拟物体之间的前后遮挡关系。而像 Quest 2 和 Quest Pro 就没有深度传感器，因此无法使用 Depth API。

Depth API 主要解决的是动态遮挡的需求，比如现实的手放在虚拟的物体前能呈现出正确的前后遮挡关系。

使用 Depth API 目前有几个注意事项：

  1. Depth API 目前是一个实验性的功能（在未来应该会成为正式的功能），这意味着目前使用 Depth API 的应用是无法上架到 Quest 商店的。但是开发者可以先拿来测试。
  2. Unity的编辑器版本需要是 2022.3.1及以上或 2023.2 及以上
  3. Meta XR SDK 的版本需要是 v60 及以上

Depth API 官方文档说明：https://developer.oculus.com/documentation/unity/unity-depthapi/（相关要求和配置过程可能会发生改变，一切以官方文档为主）

⭐导入 Depth API

目前导入 Depth API 需要从 Git URL 导入。我们可以打开 Depth API 官方 Github 样例项目网址：https://github.com/oculus-samples/Unity-DepthAPI

里面有两个 Git 链接，分别适用于不同的渲染管线。

普通渲染管线：https://github.com/oculus-samples/Unity-DepthAPI.git?path=/Packages/com.meta.xr.depthapi
URP 渲染管线：https://github.com/oculus-samples/Unity-DepthAPI.git?path=/Packages/com.meta.xr.depthapi.urp

根据自己的项目选择用哪一种，因为我的项目是默认的普通渲染管线，所以我先把第一个链接复制一下，然后如下图所示，打开 Unity 的 Window > Package Manager，点击界面左上角的 “+” 号，选择 Add package from git URL，将复制的 Git 链接导入。

在这里插入图片描述

导入之后可以在 Package Manager 当中的 In Project 里看到 Depth API，同时 Oculus XR Plugin 这个包的版本会转换为 4.2.0-exp-env-depth.2

在这里插入图片描述

⭐修改环境配置

打开 Unity 的 Edit > Project Settings > Oculus，点击安卓端和 PC 端的 Fix All 和 Apply All，直到列表的所有选项变绿为止。

在这里插入图片描述

这个自动修复工具确保了这几件事：

  1. Graphics API 设为了 Vulkan
  2. Rendering Mode 设为了 Multiview
  3. 透视功能是已经开启的
  4. Quest Features 中的 Scene Support 设为了 Required
    在这里插入图片描述

⭐添加 EnvironmentDepthOcclusion 预制体

我们在 Project 窗口中搜索 EnvironmentDepthOcclusion，将搜索选项设为 All 或 In Package，可以找到这个预制体 Prefab：

在这里插入图片描述

然后把这个预制体拖到场景中，找到它身上的 Environment Depth Occusion Controller 脚本的 Occlusion Type 参数，可以把它改为 Soft Occlusion：

在这里插入图片描述
Hard Occlusion：对现实物理的遮挡效果会比较粗糙，但是节约性能
Soft Occlusion：对遮挡效果进行了平滑处理，但是需要更大的 GPU 性能。需要注意的是 Depth API 是在实时进行处理的，所以它本身会消耗更多的算力。

⭐给物体替换遮挡 Shader

找到虚拟物体的材质，比如我这个小球的材质的 Shader 原本是 Standard，现在需要替换成 Meta/Depth/BiRP/Occlusion Standard：

在这里插入图片描述

替换成什么 Shader 可参考下方的表格（前缀是Meta/Depth/BiRP/）。
BiRP（普通渲染管线）：

在这里插入图片描述

URP：
在这里插入图片描述

现在运行程序，就可以实现当现实中的物体遮挡住后方的虚拟物体时，能看到虚拟物体前的现实物体。

⭐取消现实手部的遮挡效果

当我们用现实中的手抓取一个虚拟物体的时候，Depth API 会把虚拟物体的大部分表面遮挡掉，但是现实中的手本身是没有真正抓取一个物体的，就会导致手和虚拟物体穿模，出现很奇怪的视觉效果。我的优化思路是，当现实的手与虚拟物体进行交互时，显示虚拟手部模型，并且取消现实的手对虚拟物体的遮挡效果。如果给虚拟物体录制了抓取手势，因为 Synthetic Hand 对虚拟手部姿态的限制，所以在抓取物体的时候虚拟手部模型就会贴在虚拟物体的表面上，更有抓取的感觉。

Depth API 提供了一个方法，可以取消手腕以上手的部分对虚拟物体的遮挡效果。在 EnvironmentDepthTextureProvider 脚本中有一个 RemoveHands 方法可以实现这个功能。

在这里插入图片描述
在这里插入图片描述
传入 true 参数，可以取消手部对现实物体的遮挡效果。

和 Event Wrapper 搭配的样例：

在这里插入图片描述

最终效果：

在这里插入图片描述

这篇关于Unity Meta Quest MR 开发（四）：使用 Scene API 和 Depth API 实现深度识别和环境遮挡的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/702665。

相关文章

这15个Vue指令，让你的项目开发爽到爆

这15个Vue指令，让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件，按住 Control 和回车键再显示它吗？小菜一碟： <template
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
Hadoop企业开发案例调优场景

Hadoop企业开发案例调优场景

需求 （1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 （2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4    3    3） HDFS参数调优 （1）修改：hadoop-env.sh export HDFS_NAMENOD
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
嵌入式QT开发：构建高效智能的嵌入式系统

嵌入式QT开发：构建高效智能的嵌入式系统

摘要： 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发，涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用，以及嵌入式 QT 与硬件设备的交互，包括输入输出设
阅读更多...
OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息，即可快速实现设备配网，是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递，利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力，实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后，即可发送相关配网数据。同时还支持与常规Sof
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2