混合现实技术在口腔颌面-头颈肿瘤手术中应用的初步探索

Abstract

Mixed reality (MR), characterized by the ability to integrate digital data into human real feeling, is a new technique in medical imaging and surgical navigation. MR has tremendous value in surgery, but its application in oromaxillofacial head and neck oncology surgery is not yet reported. This paper reports the application of MR in oromaxillofacial head and neck oncology surgery. The merits, demerits, and present research situations and prospects of MR are further discussed.

混合现实（mixed reality，MR）技术是近年来出现的一种新技术，该技术能够突破虚拟世界和现实世界的界限，将数字化数据整合至人对于真实世界的感知中，使人获得模拟的感觉，如视觉、听觉等，并与之交互。从本质上来讲，MR技术是虚拟现实（virtual reality，VR）和增强现实（augmented reality，AR）技术的结合[1]。MR技术在外科手术中具有巨大的应用价值，然而目前国内外缺乏将该技术应用于口腔颌面-头颈肿瘤外科的报道。本文报道了四川大学华西口腔医院头颈肿瘤外科应用MR技术进行口腔颌面-头颈肿瘤手术的经验，并结合国内外相关文献进行了讨论。

1. 方法介绍

1.1. 采集数据

患者于术前接受影像学检查，如计算机断层扫描（computed tomography，CT）、增强计算机断层扫描（contrast enhanced computed tomography，CECT）、磁共振成像（magnatic resonance imaging，MRI）等，将获得的医学数字影像和通讯数据（digital imaging and communications in medicine，Dicom）导入三维影像工作站（安徽紫微帝星数字科技有限公司），对原始数据分期（平扫期、动脉期、静脉期）后根据分期进行重建。

1.2. 三维重建

三维重建后选择兴趣区域，确定了最佳阈值，最大限度地覆盖重建区域，保证与周围组织区分度较大，获得蒙版之后，再进行编辑。在三维模型初步重建之后，对其进行平滑（器官以及血管表面平滑处理）、包裹（尖锐三角面优化成曲面）、打磨（打磨凸起部分至平滑）、镂空（血管或者空腔性器官镂空）、轮廓线编辑（边界轮廓线调整）等优化后，最后组合模型，完成最终的三维重建（图1）。

图 1. 三维重建流程图.

Fig 1 Flow chart of 3D reconstruction

1.3. 临床应用

将最终的三维重建模型导入头戴式全息显示器HoloLens（微软公司，美国）中，分析观察病变与动脉、静脉毗邻关系，评估手术风险、决定是否进行手术、制定手术计划。当患者进行手术时，术者佩戴HoloLens，术中可以实时浏览三维重建影像（图2），同时将虚拟模型叠加于真实术区，在MR技术引导下完成手术。

图 2. 佩戴头戴式全息显示器进行手术的术中照片.

Fig 2 Intraoperative images of the surgeon wearing head-mounted holographic display

A：术者佩戴全息显示器进行手术；B：通过全息显示器获取的手术视野。

2. 典型病例

2.1. 病例1

患者女性，36岁，因“发现右咽旁包块5月余”入院。专科检查：右软腭、咽侧壁明显膨隆，可扪及一质中偏硬包块，约4 cm×3 cm大小，界限欠清，活动度差，触痛（-）。入院诊断：右腮腺深叶多形性腺瘤。通过MR技术进行三维重建后可见：右侧咽旁间隙区域约4.4 cm×4.9 cm的占位性病变，病变向内推挤咽侧壁，向后推挤颈动脉鞘，向上层面达右侧翼突后方层面，向外紧邻右侧下颌支（图3A、B）。考虑经口内手术难度较大，因此选择颌下入路。术中叠加于真实视野的模型稳定、清晰。在MR引导下保留面动、静脉（图4）。

图 3. 术前增强CT三维重建显示病灶与周围血管的关系.

Fig 3 3D reconstruction images of the lesion and blood vessels

A、B：病例1三维重建的正面、后面观；C、D：病例2三维重建的正面、后面观。

图 4. 病例1的术前三维重建影像、术中情况、术后随访.

Fig 4 The case 1 patient's CT, reconstruction of mixed reality holographic images, intraoperative images and 1 year follow up image

A~C依次为病灶区CT影像的冠状面、横截面、矢状面；D~F依次为病灶区三维重建的冠状面、横截面、矢状面；G：手术切口设计；H：术中暴露病变；I：完整切除病变；J：术后1年随访，未见复发。

2.2. 病例2

患者男性，53岁，因“发现右腭部包块10天”入院。专科检查：右腭部可触及一大小约4 cm×5 cm大小包块，质地软，边界较清，活动度可。入院诊断：右腭神经鞘瘤。MR重建结果示：右侧口咽一大小约4.1 cm×2.6 cm×4.5 cm占位病变，口咽向左侧偏移（图3C、D）。手术过程顺利，术中所见病变的位置以及病变与毗邻解剖结构关系与重建结果相一致。

2位患者均未出现手术相关并发症，随访至2019年8月，均未复发。

3. 讨论

医学影像技术及手术导航技术在过去几十年间得到了迅速的发展，然而目前还存在着一些问题：例如，术者很难将2D断层影像与真实术区匹配，对术区的反复定位往往浪费大量的时间[2]；传统手术导航系统中，影像资料显示在远离术野的另一屏幕上，术者往往需要离开术区，而这样有潜在的风险——例如不能及时发现术区出血、器械掉落等[2]–[3]。近年来，基于3D技术的VR及AR在各个领域发展迅猛，尤其是在医学领域。但是，VR和AR技术存在先天的局限性，例如AR技术无法与三维重建影像进行互动；VR则无法显示周围真实世界。为了克服VR和AR技术的局限，MR技术应运而生，其结合了AR及VR的优势，使术者不仅可以看到真实术区影像，而且可以通过虚拟的影像与之互动，为手术模拟和操作提供了极大的便利。目前MR技术已被报道应用于骨科、胸外科、神经外科等，但其在口腔颌面-头颈肿瘤外科的应用目前国内外尚未见报道[1],[4]–[6]。

术者对患者特定解剖结构的空间理解，决定了手术的精确性和安全性。通过对患者术前影像资料进行三维重建，3D模型可以直观地展示出病变与邻近重要解剖结构的位置关系。在此基础上，融合MR技术进行术中导航，直接将术前患者的虚拟影像叠加于真实术区，可以清晰地看到病灶所在边界和位置，避开重要的器官结构，完整切除病灶。利用这一技术优势，首先，作者利用重建的3D模型与患者及家属进行术前沟通，相较于使用二维图像，患者可以更加容易了解自己的病情、手术方案及潜在的手术风险，提高手术依从性；其次，通过3D模型术前进行手术风险评估，模拟和设计手术入路。研究表明：使用头戴式显示器显示3D模型，将传统的2D图像的临床评估时间缩短了近4倍[7]；同时，可视化的术前评估对于术者的信心和手术安全性的提升也具有潜在优势[7]–[8]；第三，在3D模型基础上，术中利用MR技术在不离开术野的情况下与三维模型进行交互，对肿瘤边界进行了精准定位，肿瘤与大血管的位置关系实时观察，进一步提高了手术的精确性和安全性。虽然在本研究中进行手术的患者均为单病灶，但考虑到MR技术的特点，应用MR技术进行术中导航可能会使多病灶患者有更高的获益。此外，由于颌面部复杂的解剖结构，对于年轻外科医生手术理论的理解和手术技能的提高非常具有意义，因为三维模型的学习曲线相比于二维图像更为平缓[9]。

MR技术成功与手术融合并付诸于临床实践，优良的MR设备是一个重要的决定性因素。目前，头戴式MR设备的研发虽然已取得了一定的成果，但仍处于初级阶段。本研究使用的头戴式全息显示器HoloLens，重量轻（579 g），佩戴舒适，长时间使用也不会引起术者疲劳、疼痛等[10]–[11]。充满电后可以续航2~3 h，能够满足大多数口腔颌面手术的需要。更重要的是，可以通过手势和语音命令进行HoloLens操作，在保证无菌操作的情况下，可以无缝地将三维信息整合至外科医生的手术视野中，包括拟手术计划的全息图和三维模型等。这种数字化信息的提供，使头戴式MR设备在颌面外科手术中可能具有更广阔的应用前景。

MR技术可以与其他技术相结合应用于临床，例如：经口腔机器人手术（transoral robotic surgery，TORS）的微创手术（minimally invasive surgery，MIS），因其能够在最大程度减小创伤和手术并发症，同时达到根治病灶的目的[12]–[13]，在口腔颌面外科领域具有良好的应用前景。TROS系统中集合了多种数据源来辅助手术的精确实施，包括：术前影像学资料、实时导航系统、术中实时影像[14]–[15]。MR技术可给给术者提供良好的手术参考，辅助术者精准地完成手术。Chan等[16]将AR技术应用于TROS，并在尸体上进行了初步实验，结果显示，MR技术能够有效提升手术的精确性，尤其是当病灶位于舌根部等软组织形变较严重的区域时，MR技术能够提供良好的参考。MR技术介导的TORS有可能会在未来的头颈部手术中大放异彩。

尽管基于3D重建的MR技术有着其独特的优势，但其临床应用还存在着诸多局限。首先，MR技术的基础是术前构建的个体化3D模型，在模型的构建过程中，影像原始数据的质量，包括数据源、扫描层厚、造影剂显示时机的把握等都会极大地影响3D重建的精确性；其次，口腔颌面部软组织具有一定的移动性，MR技术应用中实时定位的精度无法得到更好的保证。第三，重建模型叠加于真实视野可能会影响术者的视野，需临床医生逐步适应。在本研究中笔者也发现，虚拟影像与术野的匹配在不同区域误差不同，主要由软组织的漂移引起，为1~2 mm。因此，虚拟影像只能作为术者的参考，即MR技术仅可作为辅助手术的手段，不能当作绝对的手术导板[9]。目前，本课题组认为总结基于3D重建的MR技术在临床应用的适应证为时过早，但是在以下一些情况推荐应用：首先，无法进行常规临床检查和评估的肿瘤患者，例如张口受限、舌固定；其次，肿瘤病变所在解剖区域复杂、深在，毗邻重要的血管，如颅底、咽旁间隙等；第三，肿瘤复发导致多处散在复发病灶的评估和模拟手术设计；第四，软组织漂移较小的器官保留手术，例如腮腺肿瘤的精准部分切除。随着3D重建精度的提高（比如AI智能模式的引入），以及未来实时定位跟踪技术的改良，MR技术精度会得到进一步的提高，临床应用也会逐步普及。

综上所述，MR技术可以通过构建肿瘤的全息三维数字模型，有效显示病变的位置及与重要解剖结构的关系，术前可以辅助医患沟通，评估手术风险和模拟手术，术中可以实时导航，在口腔颌面-头颈肿瘤外科中具有一定的优势。尽管MR技术仍存在着诸多不足，其大规模临床应用也有赖于相关技术的强有力支撑，但是就其发展方向来说，符合数字化外科及精准手术的发展潮流，还需要在今后的临床实践中继续总结和完善。

Funding Statement

[基金项目] 国家自然科学基金（U1813213）

Supported by: The National Natural Science Foundation of China (U1813213).