Unity Meta Quest 一体机开发(三):Oculus Integration 基本原理、概念与结构+玩家角色基本配置

本文主要是介绍Unity Meta Quest 一体机开发(三):Oculus Integration 基本原理、概念与结构+玩家角色基本配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 📕教程说明
  • 📕输入数据
  • 📕Oculus Integration 处理手部数据的推荐流程
  • 📕VR 中交互的基本概念
  • 📕Oculus Integration 中的交互流程
  • 📕配置一个基本的玩家物体
    • ⭐OVRCameraRig
    • ⭐OVRInteraction
    • ⭐OVRHandPrefab
    • ⭐OVRHands
    • ⭐OVRLeftHandSynthetic/OVRRightHandSynthetic

推荐一个高质量知识星球 XR 社区:SEED XR社区。包含教程答疑、及时交流、进阶教程、外包、行业动态、升学就业指导。

知识星球链接:Seed XR 高级社区

在这里插入图片描述


📕教程说明

系列教程专栏:https://blog.csdn.net/qq_46044366/category_12118293.html

配套的视频链接:【2023 VR+MR全硬件开发教程】三(上)、Quest Integration基本原理概念与结构(上)-知识点讲解(主讲:YY)
【2023 VR+MR全硬件开发教程】 三 (下): 手势追踪与玩家角色配置(主讲:YY)

​电脑操作系统:Windows 11

使用的 VR 设备:Meta Quest 3(Quest 系列都适用)

使用的 Unity 版本:2021.3.5 LTS (这里推荐使用 2021 及以上的 LTS 版本)

Oculus Integration 版本:v57

官方文档:https://developer.oculus.com/documentation/unity/unity-gs-overview/


📕输入数据

VR 中的双手要么就是用手柄控制,要么就是用手势追踪控制。当我们使用手柄作为输入的时候,虚拟世界中的手部会同步现实世界中手柄的位置和旋转,使用手势追踪作为输入的时候,虚拟世界中的手部会同步现实世界中手的姿态。然后 VR 中的头部由头显控制,也就是说我们的视角可以根据现实中头显的位置和旋转发生变化。因此,现实世界中头显和手柄的追踪数据会被传输给虚拟世界中的头部和手部,然后虚拟世界中的头和手就会同步现实中的位置和旋转。同样,这个概念适用于所有的 VR SDK。
那么 Oculus Integration 中用了一系列 From OVR…Source 组件来获取追踪的数据。在 Oculus Integration V57 版本中具体分为这 5 个组件:

在这里插入图片描述
From OVR Body Data Source:获取上半身身体运动姿态数据。
From OVR Controller Data Source:获取手柄姿态数据,在虚拟世界中以手柄模型来表示。
From OVR Controller Hand Data Source:获取手柄姿态数据,在虚拟世界中以手部模型来表示。
From OVR Hand Data Source:获取手势追踪的手部姿态数据。
From OVR Hmd Data Source:获取头显的姿态数据。

获取了追踪数据之后,Oculus Integration 会用相应的接口去处理对应类型的数据,这些接口分为 IController, IHand, IHmd, and IBody,对追踪数据进行处理和包装之后,才能适配 SDK 中的一些组件。这样,这些组件就能够利用获取的数据去实现相应的交互功能。


📕Oculus Integration 处理手部数据的推荐流程

在这里插入图片描述

首先通过 FromOVRHandDataSource 获取头显追踪到的手部数据。

然后数据会被传给 HandFilter 组件,这个组件就实现了 IHand 接口,它能够进行一些防抖的处理。

接下来 SynthethicHand 组件会对手部关节的数据进行进一步的处理,它会在特定情况下覆写,也就是 override 手部关节的数据,从而限定虚拟手部的手势。比如我在 VR 中用手按压一个按钮,当我按到底的时候,按常理来说我的手是不能再往下按了,否则就会穿过按钮,产生穿模现象。但是因为我在现实世界中可能没有在按一个真的按钮,所以现实中的手是可以继续往下按的,而 VR 中的手需要同步现实世界里手部的位置,那么这种情况下 VR 中的手就必定会穿过按钮。而 SynthethicHand 组件就能够限制虚拟手部的位置,当按钮按到底的时候,这个组件就能限制 VR 中的手无法继续向下移动。还有 VR 中的抓取也是类似的原理,当你用手抓到这个物体的时候,会呈现出一个抓取的手势,而 SynthethicHand 组件能够限定住抓取手势的姿态。

当 SynthethicHand 对手部数据进行处理之后,就会由 HandVisual 组件来渲染虚拟手部的姿态。


📕VR 中交互的基本概念

VR 中的交互需要有两个对象参与。一个是 Interactor,一个是 Interactable。Interactor 是发起交互的对象,Interactable 是可以被交互的对象。以抓取交互为例,抓取的流程就是用手去抓一个物体的过程,那么手就是发起抓取的对象,也就是 Interactor,物体就是可以被抓取的对象,也就是 Interactable。这个 Interactor 和Interactable 的概念会在我们后续的教程中经常用到,这个概念在其他的 VR SDK 中也会见到。


📕Oculus Integration 中的交互流程

Oculus Integration 中有不同的 Interactor 组件,它们通常被挂载到表示手部或者手柄的物体上。当 Oculus Integration 获取了设备的追踪数据后,它就知道虚拟世界中的手或者手柄的位置和旋转角度应该是什么样的,这个时候手部或者手柄物体上的 Interactor 就会寻找对应的 Interactable。比如抓取相关的 Interactor 会寻找周围有没有可以被抓取的对象,点触(Poke)相关的 Interactor 会寻找周围有没有可以被点击的对象,如下图所示:

在这里插入图片描述

当 Interactor 检测到 Interactable 对象时,会进入到 Hover 状态。不过判断是否检测到需要一些条件,以手势追踪为例,需要满足下面这几个条件:

  1. 手要靠近 Interactable 对象
  2. 确保当前手上没有其他的 Interactor 正在与对应的 Interactable 对象交互
  3. 手要做出 Interactor 触发需要的手势。比如用手点击 UI 按钮的交互,需要伸出食指,如果伸出的是小拇指,就无法触发。

满足条件后,就会进入 Hover 状态,相当于准备开始交互的阶段。Hover 可以类比成鼠标悬停的操作。

进入 Hover 状态后,完成交互动作就能进入 Select 状态。比如还是点击 UI 按钮的交互,当我伸出食指并且靠近按钮时,会进入 Hover 状态,用食指戳到按钮的时候就会转变为 Select 状态,表示点击的交互动作完成。然后当我取消点击动作之后,也就是将手远离按钮的这一过程中,交互状态就会先由 Select 变为 Hover,再由 Hover 变为 Normal。那么我这里给出 Meta 官方提供的 Oculus Integration 交互状态切换图:

在这里插入图片描述

Disabled 就是无法发生交互的状态。然后默认状态是 Normal,当交互功能被开启的时候,就会在 Normal,Hover,Select 这三个状态之间互相切换。


📕配置一个基本的玩家物体

现在,我们已经对 Oculus Integration 中的处理手部数据的流程和交互的基本概念有了初步的认识。接下来,我们在 Unity 中配置一个玩家物体,之后在介绍各种交互功能的时候就可以在这个玩家物体上不断添加功能。

前置的环境配置可以参考这篇教程:Unity Meta Quest 一体机开发:前期准备和环境配置(2023 版,Oculus Integration v57)

首先新建一个场景,删去场景中的 Main Camera,然后添加一个 Plane 物体作为地面。

⭐OVRCameraRig

然后在如下文件夹中找到 OVRCameraRig 预制体,或者在 Project 窗口中搜索这个物体:

在这里插入图片描述
在这里插入图片描述

将该物体拖到场景中,找到它身上的 OVR Manager 脚本,将 Tracking Origin Type 改为 Floor Level:

在这里插入图片描述

选择 Floor Level,会以安全区的地面(打开 VR 设备一般都会先设置地面高度,然后划安全区)作为参考系,运行程序后头部高度会以地面作为参考点,初始高度相当于摆放在场景中的眼部相机的高度加上现实中玩家头显到安全区地面的距离。Tracking Origin Type 的区别可以参考这篇文章:https://blog.csdn.net/qq_46044366/article/details/131616046

⭐OVRInteraction

搜索 OVRInteraction 预制体,将它拖入 Hierarchy 面板,作为 OVRCameraRig 的子物体。这个 OVRInteraction 物体就是负责所有交互功能的父物体。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

OVRInteraction 下自带一个 OVRHmd 物体,用于获取头显追踪姿态的数据。

在这里插入图片描述

⭐OVRHandPrefab

搜索 OVRHandPrefab 预制体,先将它拖到 OVRCameraRig > TrackingSpace > LeftHandAnchor 下:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
打开 OVRHandPrefab 的 Inspector 面板,除了 OVR Hand 和 OVR Skeleton 脚本,其他的脚本先取消勾选:

在这里插入图片描述

然后在 OVR Skeleton 脚本里, 勾选 Enable Physics Capsules:

在这里插入图片描述

然后将这个 OVRHandPrefab 复制一份,作为 RightHandAnchor 的子物体:

在这里插入图片描述

将右手 OVRHandPrefab 的 OVRHand 和 OVRSkeleton 脚本的 Hand Type 从 Hand Left 改为 Hand Right:

在这里插入图片描述

⭐OVRHands

搜索 OVRHands 预制体,将它作为 OVRInteraction 的子物体:

在这里插入图片描述

在这里插入图片描述

我们可以展开这个预制体:

在这里插入图片描述

点击 OVRHandDataSource 物体,它上面挂载了 FromOVRHandDataSource 脚本,用于获取手部的姿态数据:

在这里插入图片描述

点击 HandDataLeft,它上面挂载了一些实现 IHand 接口的脚本,用于处理获取到的手部追踪数据,其中 Hand Filter 就是刚刚介绍的用于防抖处理的脚本:

在这里插入图片描述

展开 HandVisualsLeft,它有个 OVRLeftHandVisual 子物体,上面有一个 Hand Visual 组件,用于渲染手部模型:

在这里插入图片描述

但是默认的 OVRHands 预制体下没有挂载了 SynthethicHand 脚本的物体,我们可以手动添加。

⭐OVRLeftHandSynthetic/OVRRightHandSynthetic

搜索 OVRLeftHandSynthetic 和 OVRRightHandSynthetic 预制体,将它们作为 OVRHands 的子物体:

在这里插入图片描述
在这里插入图片描述

找到 OVRLeftHandSynthetic 物体上的 SyntheticHand脚本,将 LeftHand 物体拖入 I Modify Data From Source Mono 变量,右手同理:

在这里插入图片描述
在这里插入图片描述

然后我们展开这两个预制体,它们下面各有一个 HandVisual 子物体,用于渲染手部模型。

在这里插入图片描述

但是 OVRHands 物体的 LeftHand 和 RightHand 下也有用于渲染手部模型的物体,这时候如果我们运行程序,会发现手部模型闪烁。这是因为场景中会渲染两双手,手部模型重合在一起就会发生闪烁。

在这里插入图片描述
因此,我们需要把 LeftHand 和 RightHand 下的 HandVisualsLeft 和 HandVisualsRight 物体隐藏掉,保证渲染的是 SyntheticHand。

在这里插入图片描述

现在运行程序,如果你能看到手势追踪的双手,就说明玩家物体配置成功了。不过 SyntheticHand 的效果要结合具体的交互组件来看,我会在后续的教程中详细说明。

这篇关于Unity Meta Quest 一体机开发(三):Oculus Integration 基本原理、概念与结构+玩家角色基本配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/298939

相关文章

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

springboot security之前后端分离配置方式

《springbootsecurity之前后端分离配置方式》:本文主要介绍springbootsecurity之前后端分离配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的... 目录前言自定义配置认证失败自定义处理登录相关接口匿名访问前置文章总结前言spring boot secu

一文详解SpringBoot响应压缩功能的配置与优化

《一文详解SpringBoot响应压缩功能的配置与优化》SpringBoot的响应压缩功能基于智能协商机制,需同时满足很多条件,本文主要为大家详细介绍了SpringBoot响应压缩功能的配置与优化,需... 目录一、核心工作机制1.1 自动协商触发条件1.2 压缩处理流程二、配置方案详解2.1 基础YAML

springboot简单集成Security配置的教程

《springboot简单集成Security配置的教程》:本文主要介绍springboot简单集成Security配置的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录集成Security安全框架引入依赖编写配置类WebSecurityConfig(自定义资源权限规则

SpringBoot中封装Cors自动配置方式

《SpringBoot中封装Cors自动配置方式》:本文主要介绍SpringBoot中封装Cors自动配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot封装Cors自动配置背景实现步骤1. 创建 GlobalCorsProperties

Spring Boot结成MyBatis-Plus最全配置指南

《SpringBoot结成MyBatis-Plus最全配置指南》本文主要介绍了SpringBoot结成MyBatis-Plus最全配置指南,包括依赖引入、配置数据源、Mapper扫描、基本CRUD操... 目录前言详细操作一.创建项目并引入相关依赖二.配置数据源信息三.编写相关代码查zsRArly询数据库数

SpringBoot配置Ollama实现本地部署DeepSeek

《SpringBoot配置Ollama实现本地部署DeepSeek》本文主要介绍了在本地环境中使用Ollama配置DeepSeek模型,并在IntelliJIDEA中创建一个Sprin... 目录前言详细步骤一、本地配置DeepSeek二、SpringBoot项目调用本地DeepSeek前言随着人工智能技

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

如何自定义Nginx JSON日志格式配置

《如何自定义NginxJSON日志格式配置》Nginx作为最流行的Web服务器之一,其灵活的日志配置能力允许我们根据需求定制日志格式,本文将详细介绍如何配置Nginx以JSON格式记录访问日志,这种... 目录前言为什么选择jsON格式日志?配置步骤详解1. 安装Nginx服务2. 自定义JSON日志格式各