HoloLens2初入——PC端的Unity运行，全息投影到HL2设备中

HoloLens2初入——全息投影

本机环境

时间 ：2020-09-23 21.47
PC系统版本： Win10 专业版
VS版本： 2019社区版
头盔机型：Hololens2
HoloLens2系统版本： 内部体验版
Unity 版本：2019.3.x
WIN SDK ：19041.1.191206
MRTK版本：2.4
CUDA版本：10.2

• 备注
  为了方便，下面称 HoloLens2 为HL2
  参考官网文档

初始设置

Unity中确认是否使用了最新的远程组件

• Window>Package Manager > 确保 Windows Mixed Reality 的包是否安装 - 确保在HL2设备中下载了最新的 Holographic Remoting 应用。可以在应用商店里面直接下载

HoloLens 2 的MRTK相关的配置

• 运行 MARK的 配置
  
• 切换平台
  
  
• Window>Package Manager
  如果没有使用XR SDK 确保 Windows XR插件没有安装， 因为 Windows Mixed Reality 包 不能和他一起工作。
• 确保 Virtual Reality Supported 已选中，然后 Windows Mixed Reality 在 Virtual Reality SDKs 中
  
  
• 添加MRTK的场景和配置，添加后的目录如右侧所示

通过USB连接实现远程全息投影

• USB的连接方式比Wifi的方式稳定，渲染效果更好，个人建议前期入门还是使用USB来的好，因为WIFI为了稳定有一些使用的技巧。

• 第一次连接的时候需要先把WIFI关闭
  

• 然后在HL2中打开 Holographic Remoting Player 的应用。将会显示 以169开头的地址。
  
  

• 在Unity中输入该地址，进行连接。

• 连接成功确认
  
  并且HL2中的地址画面消失了
• 连接后可以重新连接上WIFI。
• WIFI的连接过程相似，就是在第一步不需要关闭WIFI就可以。在Unity中把USB的地址换成WIFI的地址就可以

demo效果

• Unity画面
  黑色在HL2中是不显示的。

• 前置摄像头的画面（叠加了全息的效果）
  可以看到一条一条是检测到的网格。
  

不能实现手部关节和眼动的追踪的解决途径

见博客中另外一篇文章（2020-09-29 14.47）
远程投影条件下开启眼动追踪
这部分的内容是对于一些在远程过程中发现 手部关节功能和眼动功能不好使的情况的 调式记录。
因为我的没有问题，所以如果有出现相关问题的自己查阅下原文档
原文档

补充

• 如果采用WIIFI连接的方式，要求在PC端能跑到60hz左右。 电脑主机与网络的连接如果采用有线连接，可以提高连接的稳定性，减少掉包的情况。（官网推荐，个人使用无线wifi确实掉包很严重，但是没有试过有限网络）（2020-09-26 19.35）
• 遇到的一个神奇的事情，发现Unity的刷新率好像和Cpu关系很大。在工作站上跑（CPU 为 i7-4790， 4核八线程 GPU 为GTX1050）只能跑到50Hz左右，且无论我降低画面质量也好，取消与电脑屏幕不同步也好，都无法加速。但是在自己新买的轻薄笔记本上（R7 4800H ，集显，8核16线程） 却能稳定跑到120Hz。CPU核心和线程差一半，频率也差了一半多？。（2020-11-14 17.09）
• 我擦，换了个电脑竟然连连接不稳定，掉帧，关闭Unity播放后，得重新连接远程投影的问题都一并解决了。这新的笔记本买的有价值啊。 现在用 Yoga14s 的热点作为远程连接的方式，频率为5Ghz 波段，十分流畅，纵享丝滑。（2020-11-14 17.11）
• 好像更新了Hololens的系统后，远程连接的时候会跳出诊断信息， 是纯文字的那种类型，不是有滚动条的那种。 需要关闭的话在应用的主界面上（Holoelns上开了远程软件，但是还没有用Unity远程连接的时候）说出 disable Diagnostic 即可，注意，说的是英语，不是普通话！！（2020/12/11 15:17）