本文主要是介绍Unity3D学习：结合Kinect进行游戏开发 | 孤舟博客，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
最近需要学习Unity3D和Kinect交互进行开发。查阅网上的资料，一直没有找到详尽而又简单的方案。今天终于摸索出来在Unity3D中使用Kinect的方法，特此做个笔记。
一、Unity和Kinect交互的环境配置
我所使用的Unity3D的版本是Unity3.5，使用的Kinect SDK版本是SDK1.6，令Kinect和Unity交互的方法是使用CMU的封装，但是这个方法支持的Kinect SDK版本是SDK1.0，要想使用1.5或1.6版本的kinect SDK,就要做一些相应的修改。完整的方案如下：
1、安装Uinty3D
我使用的Unity3D版本是3.5，也可以在Unity3D官网上下载free版本的Unity。
2、安装Kinect SDK
我使用的SDK版本是1.6，可以在Kinect for Windows官方网站上下载。
3、安装Kinect Wrapper Package for Unity3D
这个就是CMU封装的用于Kinect开发的Unity3D导入包了。以后在Unity3D工程中，如果需要使用和kinect交互，那么就需要在这个工程中导入这个包。点击这里下载KinectWrapperPackage。
4、运行示例工程
在CMU提供的KinectWrapperPackage包中，已经包含了一个叫做KinectExample.untiy的Unity示例工程。 在工程中导入KinectWrapperPackage包之后，在Unity的project面板上找到 Scences->KinectExample,双击就可以打开这个示例工程。
或者是单独下载CMU提供的示例工程：newKinect，这个示例工程和导入的包中包含的示例工程是一样的。
打开示例工程后，在Hierarchy面板中，可以看到这些内容：
5、修改导入包中的相关文件
CMU提供的unity导入包支持的kinect SDK版本是1.0，如果想使用其他版本的SDK，就要下载并替换导入包中的一些文件。具体来说就是KinectInterop.cs和KinectSensor.cs这两个文件。
点击这里下载适用于Kinect SDK1.6版本的替换文件。
下载完成之后，将下载之后的文件替换掉上面面板中所标识的这两个文件就可以了。然后就可以运行示例工程，体验在unity创建的场景中使用kinect控制人物模型及小球的运动。
使用修改后的导入包
如果你觉得每次导入资源包，然后再修改两个文件实在麻烦，我已经将修改后的资源包导出。以后在每次开发工程时，只需要导入这个修改之后的资源包就行了。
点击这里下载适用于Kinect SDK1.6的资源包。
二、用于kinect开发的包中包含的资源
用于kinect开发的包中(Kinect Wrapper Package for Unity3D)包含了所有我们开发unity+kinect需要用到的脚本。
导入包之后，所有我们需要的资源都会出现在project面板中，具体来说是以下的一些资源：
Scenes
- KinectExample – 示例场景，这个例子向你展示了如何通过在每一个kinect 可以追踪的骨骼点上放置小球来产生骨骼运动。以及怎样使用kinect来控制模型。
Prefabs
- Kinect_Prefab– 这个预设(prefab)包含了我们开发unity+kinect程序所必需的所有脚本。但是它并没有包含你需要的用于控制模型的控制器(controller)。
- KinectPointMan – 这个预设(prefab)向你展示了KinectPointController这个控制器是怎样使用的。
Kinect
- KinectModelControllerV2 – 你需要将这个脚本拖放到你想要应用kinect控制的模型上。为了让模型能够跟上人的节奏，你需要将模型上控制模型动作的关键骨骼拖放到这个脚本暴漏的合 适的变量中 ，也就是将模型中的骨骼与kincet识别到的人的骨骼绑定起来。另外这个脚本暴漏的变量中，还有一个变量时标识模型是受哪个玩家控制。
- KinectPointController – 你也需要将这个脚本拖放到场景中的游戏物体上。但是这个游戏物体不是模型，而是由一系列分别代表头部、肩部、手等人体部位的点组成。你需要将游戏物体中的 这些关键点都拖放到这个脚本暴漏的外部变量中。这样就可以使用kinect控制游戏物体了，游戏物体是由一系列的点组成的人体。
- DisplayDepth – 这个脚本得到深度图像。
- DisplayColor – 这个脚本得到RGB图像。
- KinectRecorder – 这个脚本用于记录你的动作，并为kinect模拟器(emulator)产生回放文件。
- KinectEmulator – 这个脚本模拟kinect设备.和KinectRecorder产生的回放文件一起工作。
- KinectSensor – 这个脚本从Kinect设备中取得数据。需要替换这个文件使用特用版本的SDK.
- DeviceOrEmulator – 这个脚本设置使用kinect物理设备还是kinect模拟设备.
- SkeletonWrapper – 这个脚本抓取骨骼数据.
- DepthWrapper – 这个脚本抓取深度图像数据.
- KinectInterop – 这个脚本从Microsoft Kinect SDK中抓取数据.
- Recordings/playbackDefault – 这是为kinect模拟设备准备的默认的回放文件.
Models and Materials
- rainbowMan
- 这是示例模型。你需要将KinectModelControllerV2这个脚本拖放在这个模型上，并将组成模型的骨骼与脚本中暴漏的骨骼部位变量绑定在一块。然后就开始测试吧。
三、在自己的工程中使用KinectWrapperPackage包
要想在自己的工程中，使用KinectWrapperPackage包来达到unity3d和kinect交互。首先需要导入这个包到unity中，然后经过下面的步骤完成交互。
1、设置Kinect_Prefab
前面提到过了，如果在Unity中和Kinect交互，Kinect_Prefab这个游戏物体是必不可少的。 这个物体需要存在于你的场景中的某 处。并且在KinectWrapper 脚本中调用了DontDestroyOnLoad这个函数，所以当你切换场景时，它仍旧存在着，因此你不必在每个场景中都实例一个 Kinect_Prefab。
在Unity中，将project面板中的Kinect_Prefab直接拖拽到Hierarchy面板就可以了。
2、控制游戏中的角色
为了控制场景中的角色的移动，你需要将KinectModelControllerV2这个脚本拖拽到场景中的模型上，并绑定骨骼；或者你为了控制一系列的游戏物体，你需要将KinectPointController拖拽这些物体上。下面分别说明这个脚本的使用。
模型控制器：KinectModelControllerV2
为使用模型控制器，请按照以下步骤：
- 拖拽脚本资源KinectModelControllerV2到场景中的模型中。
- 选择场景中的模型。找到模型中的暴漏变量Sw(它代表Skeleton Wrapper). 并将当前场景中的Kinect_Prefab拖拽给Sw这个变量。
- 详细展开你的模型，让模型的每一块骨骼在hierarchy面板中可见。
- 一个接一个地把模型中的骨骼拖拽到脚本中暴漏的对应的变量中.确保每一个骨骼都对应到了正确的变量上。
- 当模型中所有的骨骼都放置好了之后，改变暴漏的Player变量的值，这个变量表明该模型是受哪个玩家控制， 0代表第一个玩家，1 代表第二个玩家。
- 接下来要设置暴漏的Mask变量的值。设置合适的值，以决定是所有的骨骼都受Kinect控制，还是仅仅一部分骨骼受Kinect控制.如果这些 受Kinect控制的骨骼都不是你想要的，你可以自己写一个控制模型的脚本来代替KinectModelControllerV2。
- 当游戏玩家在控制模型时，如果你想要该模型同时播放自带的动画，那么你需要在暴漏的变量中选中animated选项，并设置BlendWeight变量的值，来决定模型受自带模型动画和Kinect驱动动作的最终混合效果。该变量取值范围为0到1之间。
一系列点的控制器：KinectPointController
为了使用该控制器控制一系列的点，请遵从下面几步：
- 在场景中创建一个空物体对象，作为你想要控制的一系列点的容器。
- 将其他的物体拖拽到刚刚创建的空物体中，并放置到相同的位置。使刚才创建的空物体成为这些物体的父节点。
- 拖拽KinectPointController脚本到这些物体的父节点上。
- 选中父节点，在Inspector面板中暴漏的变量中，找到Sw变量 (该变量表示Skeleton Wrapper).拖拽当前场景中Kinect_Prefab赋给这个变量。
- 拖拽你想利用Kinect控制的每一个物体到Inspector面板对应的合适的变量中。
- 设置Player变量(代表玩家)和Mask变量(代表哪些骨骼收到监控).
示例程序中，不同的物体和变量的对应关系如下：
仔细研究包中自带的例子，很容易就明白如何在Unity中结合Kinect开发了。
*********************************************
参考资料：
《unity3d Kinect SDK v1.5+Unity3D 体感游戏开发》
《配置unity3D 3.5 with Kinect SDK1.6》
《CMU WIKI：Microsoft Kinect – Microsoft SDK》
这篇关于Unity3D学习：结合Kinect进行游戏开发 | 孤舟博客的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
