拓展现实技术在临床手术中的应用

Abstract

为了探究拓展现实技术（XR）在临床手术中的应用和发展，促进XR技术高质量辅助临床手术。本研究针对基于二维图像的微创手术导航，医生难以准确判断病灶的位置、大小和几何形状且具有潜在辐射危险等问题，使用CT数据进行三维建模，依托XR技术实现术中导航，采用改进的四元数法提升电磁定位精度，系统定位精度的误差小于2 mm；针对远程手术网络数据传输卡顿、延迟等现象，依托5G网络优化服务器GPU编程算法、视频流实时编码策略和网络设计，实现了数据传输低延迟，平均延迟小于60 ms；采用高斯分布变形模型模拟碰撞检测和组织的应力形变，实现触觉感知效果。研究表明，基于XR技术的术中导航，能够更准确地确定病灶的位置，有效地降低了手术风险，且避免了术中辐射；5G网络低延迟、高保真特性使手术中实时交互成为可能，为多终端远程协同手术提供了技术基础；将力反馈技术与XR技术结合，实现具有触感的体验，使医生能够进行深度沉浸式的术前规划和虚拟手术，提高了手术成功率，缩短医生的学习曲线。XR技术赋能临床手术，对提高我国临床手术领域的源头创新能力具有积极意义，对推动手术模式创新的研究具有重要价值。

拓展现实技术（XR）是虚拟现实VR、增强现实AR、融合现实MR等多种技术的统称。通过计算机技术和可穿戴设备使虚拟和现实融合，实现人机交互。XR包含了VR、AR、MR它们所有的特点，随着这三种技术的发展，各种技术之间不断产生交集，单一一种技术不能准确描述具体应用的分类，为了更准确的表达，XR逐渐成为被使用的概念。

术中导航能够实现精确定位，是实时、可视化的手术辅助工具。术中导航的核心为三维空间定位技术，电磁定位是术中导航系统广泛使用的定位技术之一。目前在临床上广泛应用的电磁导航系统有美国Veran公司生产的IG4电磁导航系统、加拿大NDI公司生产的Aurora电磁跟踪定位系统等。另外，国内的一些公司也自主研发了电磁导航系统^[1-3]。上述应用于临床的电磁导航系统均基于二维图像引导微创手术，当需要准确判断病灶的位置、大小和几何形状等时，医生通过观察二维透视图像很难做出准确判断，准确率依赖医生的经验，手术效率低，增加了穿刺并发症风险。此外，长时间的CT辐射对医生和患者都具有潜在的辐射危险，且这些导航产品价格昂贵。国内已有研究利用三维图像实现术中导航^{[4, 5]}，但对电磁定位技术在三维术中导航中的应用研究目前少见报道。本研究依托XR技术，使用电磁定位技术实现术中导航，基于患者的CT数据依托XR技术进行三维重建，使医生在深度沉浸式体验中确定病灶的位置，提升判断准确率和效率。使用时仅利用术前三维重建的虚拟病例，医生无需术中使用CT图像进行确认，可实现无辐射的术中导航。

XR技术与5G技术融合是虚拟手术领域未来研究与发展的方向，5G以其高速率、低延迟等特点极大地促进了远程手术与远程会诊的发展。2022年英国和巴西的医疗团队成功完成超难连体婴分离手术。医生使用基于CT和MR影像的虚拟现实技术进行一系列模拟手术训练。不同国家的外科医生通过VR设备，在同一个“虚拟现实手术室”中一起完成远程手术。2019年中国人民解放军总医院成功完成了5G远程人体手术——帕金森病“脑起搏器”植入手术。经公共5G网络实现远程手术业务数据的传输和信号交互，操控信号和生理体征监测数据、各类音视频信号均传输稳定^[6]。田伟等^[7]完成了5G远程控制脊柱手术，平均网络延迟达到临床要求。周翔等^[8]实施5G远程超声引导下的泌尿系结石取石术，术中单向数据传输延迟70 ms。上述研究对基于5G的远程手术进行了积极的探索，验证了5G远程医疗的可行性，但研究多为个案报道，大规模推广使用仍存在诸多困难，亟需进一步研究。其中，为高质量辅助临床手术，采用基于XR技术的虚拟手术环境和实时交互将产生大量数据，叠加手术过程中多维度手术操作、多模态监测产生的检测信息及各类音视频信号，将使网络出现数据传输卡顿、延迟等现象，影响远程医生决策的准确性。本研究将5G云技术与XR技术融合，基于XR构建深度沉浸式虚拟孪生病例，实现术前规划、虚拟手术。渲染在云端完成，通过5G网络传给用户，研发优化的网络传输策略，突破远程虚拟手术室人数和时空上的限制，实现了多用户流畅交互使用，降低了终端成本，为开展多终端远程协同手术提供技术支撑。

1. 资源采集与建模

本研究资源采集与建模的对象为中国医科大学附属盛京医院骨科2021年收治的患者8例。首先获取患者的CT数据，采用128排螺旋CT扫描仪，影像格式为DICOM，将收集到的DICOM格式数据资料导入到医学影像处理软件Mimics中，分别提取组织、病灶组织、动脉及静脉的阈值，利用阈值分别对不同的组织和器官进行三维重建，重建后得到初步的3D模型，将转化后的3D模型文件导入三维软件Maya中。利用三维角色建模软件ZBrush4r6调整细化、处理肌体模型，进行模型细化以及可视化形状。在Mudbox2017数字雕刻纹理绘画软件中制作、美化肌肉组织等贴图。采用HDR高动态仿真贴图数据集模拟肌体内部的光照信息和反射信息，更好地反映出真实环境中的视觉效果。再进行PBR（Physicallly-Based Rendering）着色处理，实现真实物理环境渲染，使画面效果更加逼真。柔体模拟是基于粒子仿真技术实现的实时视觉效果。使用统一的粒子表示形式，使不同物质的模拟达到无缝连接^[9-12]。将建好的模型最后导入UE4引擎中。实现模型的控制变化与动态处理，可对模型放大、360度旋转以观察各部分结构，根据不同病症完成模拟手术^[13-16]。组织和器官三维建模见图 1。

1.

组织和器官三维建模

3D modeling of the tissues and organs. A: The 3D model constructed based on CT data. B: 3D model refinement. C: HDR and PBR model rendering. D: Rendering of flexible body model.

2. 方法

2.1. 基于XR技术的术中导航

本研究采用开源的单片机进行编程控制，将三维图像保存成STL格式，进行3D打印，依托XR技术、AI技术制作患者的三维模型，在导航窗口中提供三维模型的缩放、旋转等操作，在导航过程中给出手术器械和器官位置的对应关系，引导医生完成手术（图 2）。系统将高精度传感器放置到定位器械中，将磁发射体置于手术模型中，自主开发电磁定位算法，实时获取定位传感器在磁场空间内的电磁定位坐标系，从而获取手术器械在定位系统坐标系的精确位置，将实时的操作信息映射到虚拟仿真系统中。系统电磁定位算法采用同时求解四元数法，较好地避免了奇异点^[17-20]。

2.

系统实时导航界面

Interface of the real-time navigation system.

2.2. 基于5G+XR的临床手术实时交互平台

平台将手术中的实时数据、仿真程序上传到5G网络环境下的云服务器上，仿真程序在云端完成渲染，将终端功能简化为仅提供连接网络、视频解码和人机交互的应用。平台通过优化GPU编程算法、视频流实时编码策略和网络设计3个方面提高传输效率。利用底层编程实现GPU虚拟化，降低云端渲染和实时交互时出现的卡顿和失真程度。其中针对GPU的I/O限制，采取数据压缩不对称算法，提升GPU计算速度。通过在应用层重新分配时间片的算法，使单一显卡扩展成为可满足多用户需求的对等数量的虚拟显卡，实现了GPU技术优化；通过研发的视频流实时编码程序，将GPU渲染的画面实时硬编码为H.265格式，去除冗余信息，终端对数据进行实时解码，实现视频流实时编码技术优化；针对流处理计算模式中的任务分配不平衡问题，研发资源动态分配的硬件调度算法，独立响应多个用户的并发交互请求，动态调配GPU3D渲染程序和实时视频流编码程序，合理安排CPU和GPU运算资源，实现Web交互通信服务器技术优化^[21]。

在视频流实时编码技术优化中速率控制采用了基于调速器的视频编码控制方法。目标发送直接输入到调速控制器。基本的流程如下：（1）调速控制器根据当前的目标发送速率、调速控制算法以及网络数据包缓存中的数据量，预测缓存发送清空的时间；（2）基于清空时间，预测下一帧编码应该输出的时间，并根据图像采集、运动估计和视频编码的时间周期，计算出下一帧图像的采集时间；（3）根据对图像的运动估计，计算出该帧的SATD（Sum of Absolute Transformed Difference），也即是频域的各个宏块的绝对误差和；（4）根据SATD，基于高斯回归算法，预测出该帧在不同量化参数（QP）下的编码帧大小；如果预测的帧大小远远大于统计的P帧（predictive-frame）编码大小，则设置编码器参数，对该帧进行关键帧编码；否则，仍然使用P帧编码，从而实现自适应的图像组（GOP）长度控制；（5）确定量化参数QP，使得预测输出编码帧大小最为接近目标发送速率，且满足质量控制条件；（6）按照确定的量化参数对该图像进行编码，编码结果输出到网络数据包缓存中。

2.3. 融入力反馈的模拟手术

针对以柔性体形式存在的组织，系统通过安装在模拟手术器械上的传感器捕捉手术器械与组织模型间的碰撞，当遇到阻力时，通过不同的电流大小来控制手术器械的不同力度。在虚拟环境中为逼真的呈现柔性体组织的实时碰撞反馈，采用基于几何意义的高斯分布变形模型模拟腔内组织的力反馈形变。在建模过程中，遍历模型表面的所有顶点，根据顶点位置到受力点的距离，计算出法向的变形量，据此绘制图形，模拟真实操作，系统检测虚拟手术器械与模型间的碰撞，在符合切割的条件下进行模拟手术，感受手术过程中组织牵拉、血供等现象，实现深度沉浸的体验^[22-26]。柔性体碰撞AR界面见图 3。

3.

柔性体碰撞AR界面

Flexible body collision AR interface.

本研究结合XR技术、云计算技术、电磁定位技术及力反馈技术，构建了基于5G的智能临床手术实时交互平台，系统总体结构见图 4。根据患者的信息利用3D建模技术和人工智能技术生成虚拟孪生病例，虚拟病例创建使用患者的医学诊断、检查结果以及膳食、心理、运动等多维度数据，医生可以反复修改参数，找出导致疾病各种因素的联系及相互的矛盾，设计出多种解决方案，并验证其性能优劣，进行手术方案的探索和创新。使用XR、力反馈技术，针对虚拟病人进行连续、动态的高精度监测及术中导航，如果医生发生错误，孪生系统可随时返回，恢复手术前原样，进行训练和模拟^[27-30]。

4.

系统总体结构

Overall structure of the system.

3. 结果

依托XR技术的三维术中导航，能够更准确地引导医生完成手术，且避免了术中辐射，电磁定位算法采用四元数法，有效避免出现奇异点，提升了系统的响应时间和定位精度。系统的定位精度误差小于2 mm。系统实现了三维量化术中导航，如进针点、进针路径及消融范围等，支持各类微创介入手术；也可针对数字孪生的患者病例进行模拟手术，将优化的手术方案实施给患者。

通过优化5G网络，数据传输速度有1.42倍的提升，画面可支持720P/1080P高清晰标准，同时支持50路的并发访问数量，平均延迟小于60 ms。最终实现多终端远程实时交互操作低延迟、无卡顿。仿真程序在云端完成渲染，简化终端功能，摆脱终端配置对高端PC的依赖，降低成本。为多终端远程协作手术提供了技术支撑。

依托XR技术与力反馈技术，能够使用人机交互设备的触觉强力反馈来感知人体组织的不同质感，实现了手术过程中碰撞检测和组织的应力形变仿真，缩小了虚拟操作和实际手术的差别，提供了深度沉浸式的虚拟手术场景，提升了手术的准确率。

4. 讨论

（1）医学导航定位常用的技术有光学定位、电磁导航、机械定位、图像引导定位等。无论何种导航技术，术区定位的精度是评估导航系统最重要的指标之一。光学定位要求在导航过程中光路不可有遮挡，否则，无法准确获取光学标志点位置，可能存在无法定位的死角，对医生的行动和操作有一定约束，定位硬件设备体积较大，使用受限；机械定位一般是在手术器械当前位置上迭加运动增量来计算下一位置，因此使用时间越长误差越大，对于软组织区域的操作，因组织自身变形漂移，也会出现较大误差，且定位设备体积较大，安装拆除不便，便携性也较低；图像引导定位通常是将术前获得的能够清晰显示病灶区域的CT、MRI或PET等图像与术中能够获知手术器械位置的实时超声图像进行配准融合，但超声成像分辨率较低，会受到气体的影响，使用也受限^{[31, 32]}。本研究采用电磁导航实时跟踪定位技术，由于电磁波传感器尺寸小，因此方便医生操作，不存在光路遮挡的问题，医生行动不受限制。在电磁定位算法选择上，选择同时求解四元数法，避免了出现奇异点问题，能捕获末端传感器的所有信息，与分别求解四元数法相比不需要矩阵变换，提高精度和效率。未来导航定位技术在算法的准确性和实时性上有更大的发展空间，导航系统中的配准模块与导航精确性直接相关，软组织变形、器官漂移所造成的配准误差，是导航配准中需要考虑的问题。导航系统中XR技术的不断拓展，可为操作者提供更直观、方便的视觉信息；（2）5G网络的优化，很重要一部分是视频流实时编码技术的优化。对于视频传输来说，需要根据网络的状态来控制视频编码器的编码速率，有很多的编码参数会影响输出的比特率，但对比特率影响较大的参数是量化参数QP。传统的控制比特率的方法是简单的尝试对每一个编码帧指定一个常量的位数，通过测量输出的比特率并反馈来控制QP，增加QP会减少编码比特率，减少QP则会增加编码比特率。然而，这种方法没有考虑到下列因素：（1）编码的I帧（intra picture）和P帧所产生的比特数会存在很大的不同；（2）会导致图像质量的变化，因为为了维护比特率的不变，需要编码器不断的增加或者降低QP。本研究采用较为弹性的方法，通过可用的信道比特率用来确定一个GOP的目标比特数，既能够基于网络数据包缓存当前状态，实时地控制图像的相关参数，又能够根据预测值自适应地进行GOP控制。该方法的创新之处在于根据网络数据包缓存的状态实时地进行编码速率控制，把视频编码和网络传输互相耦合。

综上所述，XR技术与5G技术融合为高质量辅助临床手术提供了技术支撑，使医生能够准确判断病灶的位置，开展多终端远程协同手术，进行深度沉浸式的术前规划和模拟。为临床医疗提供更加方便、高效的应用环境，提升患者就医体验，提高手术精准度和安全性，改善医学生的学习方式并降低学习成本，进一步推动了手术模式创新的研究。

Biography

李然，副教授，E-mail: 515241467@qq.com

Funding Statement

中国医药教育协会重大科学攻关问题和医药技术难题科研课题(2022KTZ015, 2022KTM036);河南省科技厅科技攻关项目(212102210379); 教育部行指委职业教育改革创新课题(HBKC217010);河南省教育厅虚拟仿真实验教学项目(教高[2020]502号); 河南省教育厅高等教育教学改革研究与实践项目(2021SJGLX217); 辽宁省教育厅高等学校基本科研项目(LGKR0263)