元宇宙医疗实践！为神经外科医生“装上”火眼金睛

HoloLens 2 逐渐应用在不同医疗领域中

人类的大脑是非常复杂并且脆弱的。因此，脑肿瘤切除被称为现代医学界最棘手的手术之一。有些肿瘤长在大脑灰质深处，不易观察并进行切除。另一些肿瘤的位置必须借助触手状的内窥镜，使用触摸投影进行切除手术，这使得手术必须在非常精准的状态下进行，对外科医生手术精准度要求较高。

来自新加坡国立大学公共卫生(NUHS)专业的学术研究小组正在研究如何借助数字辅助程序，将微软 HoloLens 2 混合现实技术应用在神经外科手术中，从而为医生提供增强版精准 3D 影像视图。该研究是 NUHS 全息医学项目的一部分，旨在研究如何将 HoloLens 2 混合现实技术应用在未来临床诊疗中。目前， HoloLens 2 混合现实技术已被许多国家的医生广泛应用在不同医学领域。

该小组正通过一些研究了解以比较 HoloLens 2 混合现实技术在辅助神经外科手术中的应用的潜力，同时与新加坡现有几个 NUHS 手术室的当前临床实践做对比。目前，该项目处于研发阶段。在初步成为手术的辅助工具前，还将需要获得相关监管部门批准后，才能将其应用在真实患者的手术治疗中。

HoloLens 2 为手术过程带来的改变

HoloLens 2 支持手势识别和语音指令功能，能在手术中帮助外科医生查看由患者早期医学扫描生成的 3D 影像视图。手术过程中这些影像视图会显示在医生佩戴的 HoloLens 2 头显设备上，并通过全息影像同步呈现在患者身体相应的部位上。外科医生可以移动这些虚拟图像，便于多角度观察医学影像。在手术过程中，医生还可以使用 HoloLens 2 访问患者数据、调用视频或文档，甚至联系其他专家寻求建议等。

现阶段，NUHS 研究团队希望神经外科医生在手术时体验和评估 HoloLens 2，但是医生必须遵守临床实践和程序标准，不要过分依赖该设备。目前，外科医生在手术时常参考 HoloLens 2 屏幕上显示的 CT 或 MRI 扫描。以往手术中，医生需要重复抬头从屏幕获取影像，低头观察病人病灶这一过程。通过经验将观察到的 2D 影像视图匹配到 3D 对象（患者头部）上。实际上这并不是一件容易完成的事，因为即使使用了现代术中导航设备，导航屏幕与手术台距离造成的视觉上误差，仍旧为手术带来挑战。

NUHS 集团首席技术官，全息医学项目开发和实施负责人，Ngiam Kee Yuan 副教授提到，使用 HoloLens 2 的目的就是去取代这种反复观察并匹配的过程。取而代之的是，通过扫描生成的 3D 大脑图展示在外科医生的头显设备上，并以交互式全息图的形式叠加在患者现实中相对应的部位上。这种增强版 3D 全息影像视图能帮助外科医生有效穿过颅骨和脑组织“观察”患者大脑内部，帮助外科医生在手术过程中直接观察肿瘤细节。

HoloLens 2 混合现实技术有潜力提供高度精确的参考影像视图，就像科幻小说或超级英雄类电影里演的那样。正如 Ngiam 教授所说：“患者一定希望医生拥有钢铁侠般的能力。”

在使用 HoloLens 2 混合现实技术的手术中，由于患者大脑的全息影像视图被锚定在固定位置，所以其呈现效果视图不会因为医生观察的位置、角度不同而受到影响。而且，该技术支持多个佩戴 HoloLens 2 头显设备的外科医生同时精准地查看同一张全息影像视图，为手术间团队协作提供更多可能。NUHS 全息医学项目负责人 Gao Yujia 博士回忆到：“我第一次戴 HoloLens 2 头显设备时也非常吃惊于它的‘技能’。它为我们提供了一个充满可能性的平台，我们可以在其之上不断进行研究和功能开发。”

HoloLens 2 为医疗和医患关系带来无限可能

Gao 博士和 Ngiam 教授期待在未来，HoloLens 2 混合现实技术可以辅助医生提高临床诊疗效果，保障患者安全的同时提升康复效果。除神经外科以外，HoloLens 2 混合现实技术还可应用在复杂的脊柱手术、肝脏手术、面部重建等手术中。但由于该项技术复杂度高，研究团队可能需要再花费几年时间，做更多调研究及开发后，再将其广泛应用。

▲Ngiam Kee Yuan 副教授（左）和 Gao Yujia 博士（右）

在过去10年中，术中导航技术在帮助医生处理复杂器官手术方面取得了重大进展，但由于脑部手术异常复杂，所以手术仍旧高度依赖医生手术水平。借助 HoloLens 2 混合现实技术，外科医生还可以使用“切片盒”来提供相关区域的 2D 视图。这有点像从一个方形鱼缸内部向外看，玻璃另一侧就是相关大脑切片。Ngiam 教授表示：“通过这个切片，外科医生可以非常详细地了解肿瘤的深度和其 3D 位置。我坚信，现有制导系统是无法与之匹敌的。”Ngiam 教授补充道：“对脑部手术而言，成功不仅仅是简单的成功摘除肿瘤。大脑是非常敏感的器官，外科医生在进行肿瘤切除手术时，一定要最大限度减少对周围脑组织的损害。而 HoloLens 2 混合现实技术可以在此方面为外科医生提供帮助。”

Ngiam 教授相信，一旦 HoloLens 2 混合现实技术被广泛使用，其全新用途就会被专家们持续不断地发掘出来。这一切已经在悄然进行着。在NUHS 神经外科医生测试这项技术的过程中，一位神经外科医生发现可以整合 HoloLens 和“国际脑部连接项目”的数据。HoloLens 的相关技术，让这一切“不可思议”的技术成为现实。

该项目确定了大脑内部特定位置与大脑控制的身体部位之间的联系，有利于帮助神经外科医生了解相关脑组织与身体的连接关系。如，脑组织受损会影响患者语言表达能力，甚至导致患者偏瘫。

除了外科医生，患者也可以使用 HoloLens 2 设备。如在术前咨询时，患者可以通过佩戴 HoloLens 2 头显设备准确地查看肿瘤位置，了解手术可能带来的潜在风险。Ngiam 教授表示：“患者对手术信息了解的越全面，越有利于患者视情况做出决定。在新加坡，亲属在手术决策过程中扮演非常重要的角色，所以，这项技术对新加坡患者是非常友好的。”

NUHS 希望可以经过持续不断地研发，使 HoloLens 2 混合现实技术被广泛应用，并在国际范围内共享该技术。Ngiam 教授表示：“我们将与合作伙伴协作，使全息医学更具可定制性、用户友好性以及临床适用性。”