Unity Meta Quest 一体机开发(三):Oculus Integration 基本原理、概念与结构+玩家角色基本配置

本文主要是介绍Unity Meta Quest 一体机开发(三):Oculus Integration 基本原理、概念与结构+玩家角色基本配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 📕教程说明
  • 📕输入数据
  • 📕Oculus Integration 处理手部数据的推荐流程
  • 📕VR 中交互的基本概念
  • 📕Oculus Integration 中的交互流程
  • 📕配置一个基本的玩家物体
    • ⭐OVRCameraRig
    • ⭐OVRInteraction
    • ⭐OVRHandPrefab
    • ⭐OVRHands
    • ⭐OVRLeftHandSynthetic/OVRRightHandSynthetic

推荐一个高质量知识星球 XR 社区:SEED XR社区。包含教程答疑、及时交流、进阶教程、外包、行业动态、升学就业指导。

知识星球链接:Seed XR 高级社区

在这里插入图片描述


📕教程说明

系列教程专栏:https://blog.csdn.net/qq_46044366/category_12118293.html

配套的视频链接:【2023 VR+MR全硬件开发教程】三(上)、Quest Integration基本原理概念与结构(上)-知识点讲解(主讲:YY)
【2023 VR+MR全硬件开发教程】 三 (下): 手势追踪与玩家角色配置(主讲:YY)

​电脑操作系统:Windows 11

使用的 VR 设备:Meta Quest 3(Quest 系列都适用)

使用的 Unity 版本:2021.3.5 LTS (这里推荐使用 2021 及以上的 LTS 版本)

Oculus Integration 版本:v57

官方文档:https://developer.oculus.com/documentation/unity/unity-gs-overview/


📕输入数据

VR 中的双手要么就是用手柄控制,要么就是用手势追踪控制。当我们使用手柄作为输入的时候,虚拟世界中的手部会同步现实世界中手柄的位置和旋转,使用手势追踪作为输入的时候,虚拟世界中的手部会同步现实世界中手的姿态。然后 VR 中的头部由头显控制,也就是说我们的视角可以根据现实中头显的位置和旋转发生变化。因此,现实世界中头显和手柄的追踪数据会被传输给虚拟世界中的头部和手部,然后虚拟世界中的头和手就会同步现实中的位置和旋转。同样,这个概念适用于所有的 VR SDK。
那么 Oculus Integration 中用了一系列 From OVR…Source 组件来获取追踪的数据。在 Oculus Integration V57 版本中具体分为这 5 个组件:

在这里插入图片描述
From OVR Body Data Source:获取上半身身体运动姿态数据。
From OVR Controller Data Source:获取手柄姿态数据,在虚拟世界中以手柄模型来表示。
From OVR Controller Hand Data Source:获取手柄姿态数据,在虚拟世界中以手部模型来表示。
From OVR Hand Data Source:获取手势追踪的手部姿态数据。
From OVR Hmd Data Source:获取头显的姿态数据。

获取了追踪数据之后,Oculus Integration 会用相应的接口去处理对应类型的数据,这些接口分为 IController, IHand, IHmd, and IBody,对追踪数据进行处理和包装之后,才能适配 SDK 中的一些组件。这样,这些组件就能够利用获取的数据去实现相应的交互功能。


📕Oculus Integration 处理手部数据的推荐流程

在这里插入图片描述

首先通过 FromOVRHandDataSource 获取头显追踪到的手部数据。

然后数据会被传给 HandFilter 组件,这个组件就实现了 IHand 接口,它能够进行一些防抖的处理。

接下来 SynthethicHand 组件会对手部关节的数据进行进一步的处理,它会在特定情况下覆写,也就是 override 手部关节的数据,从而限定虚拟手部的手势。比如我在 VR 中用手按压一个按钮,当我按到底的时候,按常理来说我的手是不能再往下按了,否则就会穿过按钮,产生穿模现象。但是因为我在现实世界中可能没有在按一个真的按钮,所以现实中的手是可以继续往下按的,而 VR 中的手需要同步现实世界里手部的位置,那么这种情况下 VR 中的手就必定会穿过按钮。而 SynthethicHand 组件就能够限制虚拟手部的位置,当按钮按到底的时候,这个组件就能限制 VR 中的手无法继续向下移动。还有 VR 中的抓取也是类似的原理,当你用手抓到这个物体的时候,会呈现出一个抓取的手势,而 SynthethicHand 组件能够限定住抓取手势的姿态。

当 SynthethicHand 对手部数据进行处理之后,就会由 HandVisual 组件来渲染虚拟手部的姿态。


📕VR 中交互的基本概念

VR 中的交互需要有两个对象参与。一个是 Interactor,一个是 Interactable。Interactor 是发起交互的对象,Interactable 是可以被交互的对象。以抓取交互为例,抓取的流程就是用手去抓一个物体的过程,那么手就是发起抓取的对象,也就是 Interactor,物体就是可以被抓取的对象,也就是 Interactable。这个 Interactor 和Interactable 的概念会在我们后续的教程中经常用到,这个概念在其他的 VR SDK 中也会见到。


📕Oculus Integration 中的交互流程

Oculus Integration 中有不同的 Interactor 组件,它们通常被挂载到表示手部或者手柄的物体上。当 Oculus Integration 获取了设备的追踪数据后,它就知道虚拟世界中的手或者手柄的位置和旋转角度应该是什么样的,这个时候手部或者手柄物体上的 Interactor 就会寻找对应的 Interactable。比如抓取相关的 Interactor 会寻找周围有没有可以被抓取的对象,点触(Poke)相关的 Interactor 会寻找周围有没有可以被点击的对象,如下图所示:

在这里插入图片描述

当 Interactor 检测到 Interactable 对象时,会进入到 Hover 状态。不过判断是否检测到需要一些条件,以手势追踪为例,需要满足下面这几个条件:

  1. 手要靠近 Interactable 对象
  2. 确保当前手上没有其他的 Interactor 正在与对应的 Interactable 对象交互
  3. 手要做出 Interactor 触发需要的手势。比如用手点击 UI 按钮的交互,需要伸出食指,如果伸出的是小拇指,就无法触发。

满足条件后,就会进入 Hover 状态,相当于准备开始交互的阶段。Hover 可以类比成鼠标悬停的操作。

进入 Hover 状态后,完成交互动作就能进入 Select 状态。比如还是点击 UI 按钮的交互,当我伸出食指并且靠近按钮时,会进入 Hover 状态,用食指戳到按钮的时候就会转变为 Select 状态,表示点击的交互动作完成。然后当我取消点击动作之后,也就是将手远离按钮的这一过程中,交互状态就会先由 Select 变为 Hover,再由 Hover 变为 Normal。那么我这里给出 Meta 官方提供的 Oculus Integration 交互状态切换图:

在这里插入图片描述

Disabled 就是无法发生交互的状态。然后默认状态是 Normal,当交互功能被开启的时候,就会在 Normal,Hover,Select 这三个状态之间互相切换。


📕配置一个基本的玩家物体

现在,我们已经对 Oculus Integration 中的处理手部数据的流程和交互的基本概念有了初步的认识。接下来,我们在 Unity 中配置一个玩家物体,之后在介绍各种交互功能的时候就可以在这个玩家物体上不断添加功能。

前置的环境配置可以参考这篇教程:Unity Meta Quest 一体机开发:前期准备和环境配置(2023 版,Oculus Integration v57)

首先新建一个场景,删去场景中的 Main Camera,然后添加一个 Plane 物体作为地面。

⭐OVRCameraRig

然后在如下文件夹中找到 OVRCameraRig 预制体,或者在 Project 窗口中搜索这个物体:

在这里插入图片描述
在这里插入图片描述

将该物体拖到场景中,找到它身上的 OVR Manager 脚本,将 Tracking Origin Type 改为 Floor Level:

在这里插入图片描述

选择 Floor Level,会以安全区的地面(打开 VR 设备一般都会先设置地面高度,然后划安全区)作为参考系,运行程序后头部高度会以地面作为参考点,初始高度相当于摆放在场景中的眼部相机的高度加上现实中玩家头显到安全区地面的距离。Tracking Origin Type 的区别可以参考这篇文章:https://blog.csdn.net/qq_46044366/article/details/131616046

⭐OVRInteraction

搜索 OVRInteraction 预制体,将它拖入 Hierarchy 面板,作为 OVRCameraRig 的子物体。这个 OVRInteraction 物体就是负责所有交互功能的父物体。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

OVRInteraction 下自带一个 OVRHmd 物体,用于获取头显追踪姿态的数据。

在这里插入图片描述

⭐OVRHandPrefab

搜索 OVRHandPrefab 预制体,先将它拖到 OVRCameraRig > TrackingSpace > LeftHandAnchor 下:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
打开 OVRHandPrefab 的 Inspector 面板,除了 OVR Hand 和 OVR Skeleton 脚本,其他的脚本先取消勾选:

在这里插入图片描述

然后在 OVR Skeleton 脚本里, 勾选 Enable Physics Capsules:

在这里插入图片描述

然后将这个 OVRHandPrefab 复制一份,作为 RightHandAnchor 的子物体:

在这里插入图片描述

将右手 OVRHandPrefab 的 OVRHand 和 OVRSkeleton 脚本的 Hand Type 从 Hand Left 改为 Hand Right:

在这里插入图片描述

⭐OVRHands

搜索 OVRHands 预制体,将它作为 OVRInteraction 的子物体:

在这里插入图片描述

在这里插入图片描述

我们可以展开这个预制体:

在这里插入图片描述

点击 OVRHandDataSource 物体,它上面挂载了 FromOVRHandDataSource 脚本,用于获取手部的姿态数据:

在这里插入图片描述

点击 HandDataLeft,它上面挂载了一些实现 IHand 接口的脚本,用于处理获取到的手部追踪数据,其中 Hand Filter 就是刚刚介绍的用于防抖处理的脚本:

在这里插入图片描述

展开 HandVisualsLeft,它有个 OVRLeftHandVisual 子物体,上面有一个 Hand Visual 组件,用于渲染手部模型:

在这里插入图片描述

但是默认的 OVRHands 预制体下没有挂载了 SynthethicHand 脚本的物体,我们可以手动添加。

⭐OVRLeftHandSynthetic/OVRRightHandSynthetic

搜索 OVRLeftHandSynthetic 和 OVRRightHandSynthetic 预制体,将它们作为 OVRHands 的子物体:

在这里插入图片描述
在这里插入图片描述

找到 OVRLeftHandSynthetic 物体上的 SyntheticHand脚本,将 LeftHand 物体拖入 I Modify Data From Source Mono 变量,右手同理:

在这里插入图片描述
在这里插入图片描述

然后我们展开这两个预制体,它们下面各有一个 HandVisual 子物体,用于渲染手部模型。

在这里插入图片描述

但是 OVRHands 物体的 LeftHand 和 RightHand 下也有用于渲染手部模型的物体,这时候如果我们运行程序,会发现手部模型闪烁。这是因为场景中会渲染两双手,手部模型重合在一起就会发生闪烁。

在这里插入图片描述
因此,我们需要把 LeftHand 和 RightHand 下的 HandVisualsLeft 和 HandVisualsRight 物体隐藏掉,保证渲染的是 SyntheticHand。

在这里插入图片描述

现在运行程序,如果你能看到手势追踪的双手,就说明玩家物体配置成功了。不过 SyntheticHand 的效果要结合具体的交互组件来看,我会在后续的教程中详细说明。

这篇关于Unity Meta Quest 一体机开发(三):Oculus Integration 基本原理、概念与结构+玩家角色基本配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/298939

相关文章

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

SpringBoot基于配置实现短信服务策略的动态切换

《SpringBoot基于配置实现短信服务策略的动态切换》这篇文章主要为大家详细介绍了SpringBoot在接入多个短信服务商(如阿里云、腾讯云、华为云)后,如何根据配置或环境切换使用不同的服务商,需... 目录目标功能示例配置(application.yml)配置类绑定短信发送策略接口示例:阿里云 & 腾

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

CentOS7更改默认SSH端口与配置指南

《CentOS7更改默认SSH端口与配置指南》SSH是Linux服务器远程管理的核心工具,其默认监听端口为22,由于端口22众所周知,这也使得服务器容易受到自动化扫描和暴力破解攻击,本文将系统性地介绍... 目录引言为什么要更改 SSH 默认端口?步骤详解:如何更改 Centos 7 的 SSH 默认端口1

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

SpringBoot多数据源配置完整指南

《SpringBoot多数据源配置完整指南》在复杂的企业应用中,经常需要连接多个数据库,SpringBoot提供了灵活的多数据源配置方式,以下是详细的实现方案,需要的朋友可以参考下... 目录一、基础多数据源配置1. 添加依赖2. 配置多个数据源3. 配置数据源Bean二、JPA多数据源配置1. 配置主数据

Spring 基于XML配置 bean管理 Bean-IOC的方法

《Spring基于XML配置bean管理Bean-IOC的方法》:本文主要介绍Spring基于XML配置bean管理Bean-IOC的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一... 目录一. spring学习的核心内容二. 基于 XML 配置 bean1. 通过类型来获取 bean2. 通过

如何使用Nginx配置将80端口重定向到443端口

《如何使用Nginx配置将80端口重定向到443端口》这篇文章主要为大家详细介绍了如何将Nginx配置为将HTTP(80端口)请求重定向到HTTPS(443端口),文中的示例代码讲解详细,有需要的小伙... 目录1. 创建或编辑Nginx配置文件2. 配置HTTP重定向到HTTPS3. 配置HTTPS服务器

SpringBoot中配置Redis连接池的完整指南

《SpringBoot中配置Redis连接池的完整指南》这篇文章主要为大家详细介绍了SpringBoot中配置Redis连接池的完整指南,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以... 目录一、添加依赖二、配置 Redis 连接池三、测试 Redis 操作四、完整示例代码(一)pom.

Linux内核参数配置与验证详细指南

《Linux内核参数配置与验证详细指南》在Linux系统运维和性能优化中,内核参数(sysctl)的配置至关重要,本文主要来聊聊如何配置与验证这些Linux内核参数,希望对大家有一定的帮助... 目录1. 引言2. 内核参数的作用3. 如何设置内核参数3.1 临时设置(重启失效)3.2 永久设置(重启仍生效