OpenNI结合Unity3D Kinect进行体感游戏开发(转)

2023-11-05 09:50

本文主要是介绍OpenNI结合Unity3D Kinect进行体感游戏开发(转),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

OpenNI结合Unity3D Kinect进行体感游戏开发(转)

楼主#
更多 发布于:2012-07-17 16:42
1. 下载安装Unity3D(目前版本为3.4)
2. 下载OpenNI的Unity3D wrapper(目前版本为0.9.2):
    a. 地址: http://www.openni.org/Downloads/OpenNIModules.aspx
    b. 按如下选择:

     c. 下载完解压后有2个.unitypackage文件 3. 创建新的U3D(Unity3D)工程,导入载好的unitypackage文件,先导入 OpenNIUnityToolkit_0.9.2.unitypackage,再导入NITEExtensions.unitypackage     这时在工程视图里能看到导入的所有文件 4. 开始熟悉wrapper(资源都在工程视图)     a. 示例游戏:OpenNI-->Sample Scenes-->SingleSkeleton.,运行后能获得一个感性的认识。     b. 手册:OpenNI-->Documentation-->OpenNIPackageDocumentation,这个手册很重要,此后的 学习都可以根据这个手册来。     c. 创建新的Scene,然后按照手册上的例子自己从零开始创建示例游戏。
这篇手册需要通读的是第一部分:Unity OpenNI Unity Toolkit Overview---> OpenNI Package Overview,包括以下内容:
1. OpenNI Module Main Capabilities  
2. Samples Overview
3. Additional Topics
第一节包含了所有需要理解的东西,第二节是例程讲解,第三节是附加话题。
可以先从第二节开始,边照着创建例程边查阅第一节的相关内容:
a. Single Skeleton Sample
这个例程介绍怎么创建单一角色,包括怎么让Sensor运行起来,怎么让玩家用自己的躯体去控制游戏角色的骨架。
* Single Skeleton Sample
1. 在Unity中创建一个空的scene
2. 往scene里添加object (如果不知道怎么添加:在Project视图中搜索object的名字,然后直接将object拖到Hierarchy视图)
a. 第一个就是OpenNISettings。加了这个后点击运行,正常的话应该可以看到sensor亮了。这个object实现的是驱动sensor,封装了OpenNI相应的函数。
该obejct有3个子项,我们目前只关心"OpenNI configuration", 选中后在Inspector窗口能看到不同的选项:
Mirror behavior  // 表示是否要将深度数据进行左右镜像。勾上。
XML file // 通过XML 文件来定制一些参数,比如分辨率,帧率,Production Node等;也可以通过XML文件来导入录制好的深度视频,在需要识别特定动作的时候可以用来调试。
Use image generator? // 表示是否需要产生RGB图像。不勾。
Use user and skeleton? // 表示是否需要识别用户和骨骼。勾上。
Smoothing factor  // 滤波参数,暂时用默认值0.5
如果想深入了解这个object,
1)阅读手册里相应的解释:在OpenNI Module Main Capabilities-->Centralized Initialization and Configuration-->OpenNISettings Prefab
2)看脚本代码,有2个脚本:OpenNISettingsManager,NIOpenNISettingsManagerInspector
OpenNISettingsManager - 主要是接受上面解释的参数,进行初始化和销毁的工作。这里关键的是NIContext,这是一个singleton,在脚本NIContext里。实际上 NIContext就是对OpenNI的context的封装。如果不了解什么是context,可以参阅OpenNI的文档。
NIOpenNISettingsManagerInspector - 主要是实现在Inspector显示相关选项。需要做扩展的时候可以看看。
b. 接着添加NIDepthViewer,这时候运行,就能看到右上角多了一个视窗,里面显示的是深度视频。(注:视频里人的动作是反的,你往左,视频里的自 己往右。如果不勾上上一个object的"Mirror behavior",就不会反了,这里先不理会)有了这个,就能清楚地看到镜头能看到的范围。
c. 再添加NIRadarViewer, 运行,在游戏的左上角能看到"User Radar", 当有用户被检测到的时候,会出现一个红色的方块,方块里面有数字(比如1)代表用户号。
d. 添加角色。这个比较有趣。添加ConstructionWorkerPrefab,然后在Hierarchy中选中这个object,再将鼠标移到 Scene窗口,按”F“键,这时候就可以看到工人模型了。运行,会看到工人模型以校正姿势站在屏幕中间(看起来比较小,以后可以调整)。这时候自己做校 正动作,会看到左上角RadarViewer里的小方块会从红色变成黄色最后变成绿色,绿色就表示校正成功了,但工人模型却没有动起来,因为我们还缺少一 个object,看下一步:
e. 添加NISkeletonPrefab,运行,校正,工人模型驱动起来了!这个object的功能就是实现用户驱动角色。里面包含了2个脚本:
1) NIUsers To Player Mapper: 用来管理user和player之间的映射,实际上很简单,先识别出来的user给分配一个小的player ID。
2) NISkeleton Users Manager: 用来连接player和skeleton controller。默认会自动搜索Skeleton controller,也可以手动指定(在多玩家的场合用得上,比如player1映射到skeleton controller1,player2映射到skeleton controller2)。skeleton controller:是用来驱动character的,比如工人模型,你可以在ConstructionWorkerPrefab里找到这个脚本。
总 结起来,NISkeletonPrefab实现了user(玩家)到player(游戏里的玩家)到skeleton controller(可以control不同的模型)的连接。会有user,player和skeleton controller的原因:每个use可以驱动不同的player,比如你和朋友一起玩游戏,你和朋友都是user,各自驱动自己的player,而每 个player又可以有不同的外观,就象赛车游戏,你可以选择不同的车型。
想深入了解这个object,同样有2种方法:
1. 看手册:OpenNI Module Main Capabilities-->Skeleton Control-->NISKeletonPrefab
2. 读脚本:NIUsersToPlayerMapper, NISkeletonUsersManager
-------------------------------------------------------------------------------------------
本篇基于最新的wrapper v0.9.7.4(该版本已经不需要做校准姿势)介绍怎么从零开始把自己的人物模型驱动起来,目的是给读者一个能运行的示例,在这过程中不会对概念做过多的解释,详细请参照wrapper的帮助文档。
 
1. 安装Unity3.4
2. 下载v0.9.7.4的wrapper (解压得到的是一个文件:OpenNI_Unity_Toolkit-0.9.7.4.unitypackage)
3. 打开Unity创建一个空的工程
4. 导入OpenNI_Unity_Toolkit-0.9.7.4.unitypackage
 
  • 按默认的,导入全部文件
  • 导入后看到如下图所示文件结构


 
5. 导入你自己的人物模型,这里以asset store上的战士模型为例
  • 进入asset store(Unity里Ctril+9),当然前提是你注册了账户(免费)
  • Asset Store页面的Categories里选择3D Models-->Characters-->Humanoids-->Humans,然后在左侧的列表里选择Soldier Character Pack(免费的)
  • 导入Soldier Character Pack
  • 导入后看到多了如下文件

6. 加入人物模型
  • 将上图文件目录里的soldier直接拖到Hierarchy窗口
  • 这时在scene窗口看不到战士模型,先在Hierarchy窗口选中soldier,然后将鼠标移到Scene窗口,按F键,便可看到。
  • 这时如果运行游戏,看到的只是静止的战士,摄像头也不会亮

7. 驱动3D摄像头(Kinect或ASUS Xtion Pro,看你用的是什么设备)
  • 将Project窗口的OpenNI-->OpenNISettings(如下左图)拖动到Hierarchy窗口(如下右图)
  •  
  • 这时运行游戏,你会看到3D摄像头亮了,说明设备已经驱动起来了(当然,这一步你必须先插好3D摄像头)
  • 为了对设备运行状态有个更直观的认识,这里加入一些辅助的东西将Project窗口的NIIDepthViewer和NIRadarViewer拖到Hierarchy窗口
  • 运行游戏,会看到窗口的左上角和右上角分别多了一个小窗
  • 左 边的是NIRadarViewer,显示的是当前是否有人进入摄像头的视野并被识别出来;右边的是NIDepthViewer,显示的是摄像头看到的实际 场景。这时如果你站在摄像头的视野范围内稍微动一下,就可以被识别出来,同时在Users Radar上面多了一个红色的小方格,方格里面显示数字1. 小方格显示红色表示用户仅仅是被识别出来了,但还没有开始骨架跟踪;而数字1表示当前用户的ID。当你走动的时候,红色方格也会相应地动。
  • 那怎样开始骨架跟踪呢?创建一个空的game object(Unity的菜单GameObject-->Create Empty),然后在Inspector窗口将其重命名为player manager。
  • 然后将脚本NIPlayerManagerCOMSelection拖到player manager
  • 在Inspector窗口将Max allowed players改成1
  • 这时运行游戏,当你站在摄像头的视野范围内稍微走动的时候,就可以看到Users Radar窗口的小方格是绿色的,这表明算法已经开始跟踪你的骨架了因为这个版本的wrapper封装了比较新的OpenNI,所以这里你不再需要做校准姿势就可以自动跟踪骨架

8. 一切准备工作做好了,现在可以开始驱动人物模型了
 
 
  • 在Hierarchy窗口选中soldier,将Project窗口的脚本NISkeletonController拖到Inspector
  • 拖动过去后会看到弹出一个提示,选continue。
  • 这时Inspector窗口是这样的
  • 现在开始骨架匹配在Inspector(如上图)的“Joints to control”里选择Head,然后点击最右边的小圆圈,在弹出的“Select Transform”对话框里选择“Head”      
  • 选好后的情形如下
  • 这时点击,会在Hierarchy窗口看到其所在的位置
  • 这样战士模型的头就和OpenNI算法识别出来的玩家骨架的头匹配起来了,其它骨架的匹配方法类同,下面是全部匹配好的“Joints to control”截图,可对照其骨架的名字一一匹配。
  • 这 里要说明的是,不同的人物模型对骨架各关节的命名可能不一样,怎么命名无所谓,关键是要找对关节。以这个战士模型为例,见下面两张图,第一张是Left Shoulder的位置,第二张是Left Arm的位置,很明显,我们必须选择的肩关节应该是Left Arm而不是Left Shoulder。

骨架匹配好了,现在运行游戏,你会看到在初始状态战士的双手是举起来的

这时如果你出现在摄像头的可见范围内,你会发现战士模型的手脚会跟着你的手脚在动,你转身,战士模型也会转身。这时,你的人物模型已经驱动起来了!
此时你可能会发现一个问题:你走动的时候战士模型并没有跟着移动,请在soldier的Inspector窗口将Update Root Position?勾上,再运行游戏,这时战士模型就会跟着你走动了

9. 现在模型已经完全驱动起来了,为了好看,你可以加入灯光,同时把战士模型放大一些。

转载于:https://www.cnblogs.com/wangjinming/p/3804142.html

这篇关于OpenNI结合Unity3D Kinect进行体感游戏开发(转)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/349050

相关文章

如何使用Lombok进行spring 注入

《如何使用Lombok进行spring注入》本文介绍如何用Lombok简化Spring注入,推荐优先使用setter注入,通过注解自动生成getter/setter及构造器,减少冗余代码,提升开发效... Lombok为了开发环境简化代码,好处不用多说。spring 注入方式为2种,构造器注入和setter

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java

MySQL深分页进行性能优化的常见方法

《MySQL深分页进行性能优化的常见方法》在Web应用中,分页查询是数据库操作中的常见需求,然而,在面对大型数据集时,深分页(deeppagination)却成为了性能优化的一个挑战,在本文中,我们将... 目录引言:深分页,真的只是“翻页慢”那么简单吗?一、背景介绍二、深分页的性能问题三、业务场景分析四、

Spring Boot 结合 WxJava 实现文章上传微信公众号草稿箱与群发

《SpringBoot结合WxJava实现文章上传微信公众号草稿箱与群发》本文将详细介绍如何使用SpringBoot框架结合WxJava开发工具包,实现文章上传到微信公众号草稿箱以及群发功能,... 目录一、项目环境准备1.1 开发环境1.2 微信公众号准备二、Spring Boot 项目搭建2.1 创建

nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析(结合应用场景)

《nginx-t、nginx-sstop和nginx-sreload命令的详细解析(结合应用场景)》本文解析Nginx的-t、-sstop、-sreload命令,分别用于配置语法检... 以下是关于 nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析,结合实际应

SpringBoot结合Docker进行容器化处理指南

《SpringBoot结合Docker进行容器化处理指南》在当今快速发展的软件工程领域,SpringBoot和Docker已经成为现代Java开发者的必备工具,本文将深入讲解如何将一个SpringBo... 目录前言一、为什么选择 Spring Bootjavascript + docker1. 快速部署与

linux解压缩 xxx.jar文件进行内部操作过程

《linux解压缩xxx.jar文件进行内部操作过程》:本文主要介绍linux解压缩xxx.jar文件进行内部操作,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、解压文件二、压缩文件总结一、解压文件1、把 xxx.jar 文件放在服务器上,并进入当前目录#

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr

Python中re模块结合正则表达式的实际应用案例

《Python中re模块结合正则表达式的实际应用案例》Python中的re模块是用于处理正则表达式的强大工具,正则表达式是一种用来匹配字符串的模式,它可以在文本中搜索和匹配特定的字符串模式,这篇文章主... 目录前言re模块常用函数一、查看文本中是否包含 A 或 B 字符串二、替换多个关键词为统一格式三、提