基于增强现实理论的神经外科头颅体表定位系统

Abstract

Neurosurgery navigation system, which is expensive and complicated to operate, has a low penetration rate, and is only found in some large medical institutions. In order to meet the needs of other small and medium-sized medical institutions for neurosurgical navigation systems, the scalp localization system of neurosurgery based on augmented reality (AR) theory was developed. AR technology is used to fuse virtual world images with real images. The system integrates computed tomography (CT) or magnetic resonance imaging (MRI) with the patient's head in real life to achieve the scalp positioning. This article focuses on the key points of Digital Imaging and Communications in Medicine (DICOM) standard, three-dimensional (3D) reconstruction, and AR image layer fusion in medical image visualization. This research shows that the system is suitable for a variety of mobile phones, can achieve two-dimensional (2D) image display, 3D rendering and clinical scalp positioning application, which has a certain significance for the auxiliary neurosurgical head surface positioning.

引言

神经导航手术是指在神经外科手术中运用航海中导航的理论，依托电脑图像处理和手术器械实现追踪定位，辅助优化手术入路，精确操作范围，从而减少创伤和提高手术质量。其中电脑图像处理主要是利用计算机断层扫描成像（computed tomography，CT）和磁共振成像（magnetic resonance imaging，MRI）采集的二维（two-dimensional，2D）图像信息进行数字图像处理，如图像分割、三维（three-dimensional，3D）重建等，可实时展现患者的病灶信息，供医生诊断、治疗、制定手术方案等。而目前市面上的神经外科导航设备以国外进口为主，设备昂贵、操作复杂，需要培训专业操作人员，增加了相应的手术治疗费用，因此在国内普及率较低，主要存在于大型医院^[1]。

增强现实（augmented reality，AR）是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D 模型的技术^[2-3]，实现在屏幕上把虚拟世界套在现实世界中并进行互动。该技术可以简单理解为通过摄像头将现实世界的图像采集展示在屏幕上，同时加上相应的图像、视频或 3D 模型等进行图像的融合，实现现实世界与虚拟世界在屏幕上的互动融合。借鉴 AR 的思想，澳大利亚悉尼大学的 Eftekhar、国内解放军总医院的孙国臣和山东大学齐鲁医院的郭宇等采用一款名为 Sina 的软件，通过翻拍患者头部 CT 或 MRI 图像并与手机摄像头实时采集的患者头部影像叠加融合，实现头颅体表病灶定位，研究表明该方式可用于辅助定位^[4-6]。土耳其安卡拉大学的 Dogan 等^[7]的研究成果也表明该方式可行。

Sina 软件是一款基于 Android 平台开发的应用软件。该软件只可以翻拍 CT 或 MRI 图片，然后用于与摄像头实时采集的现实世界患者图像信息进行融合，以实现神经外科头颅体表定位。它仅支持拍摄的 2D 图像，功能过于单一，医生在根据 2D 图像数据进行诊断时，往往会感到缺乏有效、直观的诊断信息。因此本文结合 AR 理论，开发可对医学数字成像和通信（Digital Imaging and Communications in Medicine，DICOM）格式的医学图像进行解析展示，并支持 3D 重建渲染的神经外科头颅体表定位系统，辅助缺乏神经导航设备的中小型医院医生进行头颅体表病灶定位。

1. 系统设计

本系统设计如图 1 所示，首先采用医院的 CT 或 MRI 设备采集患者 2D 医学图像，图像数据集导入服务器的数据库中。经过视觉化工具函式库（Visualization Toolkit，VTK）对患者的 2D 医学图像数据集进行 3D 重建，生成标准曲面细分语言（Standard Tessellation Language，STL）格式的 3D 医学图像数据并导入服务器的数据库中。通过网络接口，供客户端应用程序访问下载服务器端数据，在客户端对 2D 和 3D 医学图像数据进行访问、解析和可视化。经客户端的摄像头采集患者头颅实时影像与医学图像融合，实现 AR 效果。经标志物（冠状缝、矢状缝或头颅特征如眼眶、鼻梁等）匹配，可在客户端屏幕上看到医学图像叠加到患者头皮的情况，勾画出脑部病灶在患者头皮呈现的位置，实现头颅体表病灶定位。

图 1.

System structure

系统结构

2. 系统核心

2.1. 图像可视化

对 2D 和 3D 医学图像的可视化是本系统实现的基础。在医学图像保存中，医院里的 CT 或 MRI 设备采集的患者图像都是一系列连续 2D 断层扫描数据集。为了保证数据的质量和统一性，往往采用 DICOM 标准。该标准包含了医学数字图像实现采集、归档、通信、显示及查询等信息交换协议，其文件格式如图 2 所示，分为文件头和数据集^[8]。文件头用于标识数据集合的相关信息，而数据集则包含了医学图像及患者有关的信息，因此研究 2D 医学图像的可视化则集中在对数据集中图像信息的解析。根据 DICOM 标准的第五部分数据结构，采用开源 DICOM 服务框架 dcm4che，通过调节窗宽窗位法提取图像信息，并转化成位图，即可实现 2D 医学图像在普通设备上的可视化。

图 2.

DICOM file format

DICOM 文件格式

如前所述，所采集的患者医学图像都是 2D 扫描数据集，要实现 3D 可视化，则需要对其进行 3D 重建。3D 重建主要的算法有面绘制和体绘制两种^[9-10]，本研究主要采用面绘制。

面绘制的实质是从一个 3D 的数据场中抽取一张等值面，也称为“等值面提取”算法。其算法的实现过程为：首先根据 CT 或 MRI 是由不同灰度值的像素组成，而等值面是由所有具有相同灰度值的点构成的曲面，从相邻两个断层图像中分别取出 4 个对应像素点构成 3D 图像体素^[9-12]，如图 3 所示。

图 3.

Voxel schematic diagram

体素示意图

若体素某边的两端点值不相同，等值面会与这条边相交，且仅有一个交点，交点 p 代表等值点坐标点。

1

其中 p₁、p₂ 代表两个端点坐标，v₁、v₂ 代表两个端点的值，v 代表等值面的值。

将等值面与体素棱边的交点连接会形成三角形或多边形，共有 15 种情况，如图 4 所示。

图 4.

Types of equivalent patches

等值面片种类

在等值面上的每一点，其沿面切线方向的梯度分量值是零，因此，该点梯度矢量的方向也就代表了等值面在该点的法向。移动立方体算法中使用中心差分法计算任意点 的梯度^[8]

2

这里 表示了空间中 这点的灰度值，然后对体素 8 个顶点上法向量进行线性插值，就可以得到位于体素边上三角片各个顶点的法向量。根据等值面片的顶点坐标和法向量便可绘制出图像。在开发时采用 VTK 中的 vtkMarchingCubes 实现面绘制 3D 重建。而应用领域有免费的 3DSlicer 医学图像可视化处理分析平台，直接导入序列 2D 医学图像即可实现 3D 重建。

2.2. AR 图像融合

AR 图像融合是通过智能终端设备相机摄像头采集真实世界中的头颅实时影像，并将其与医学影像信息融合实现 AR 的效果。其示意图见图 5，在智能终端设备的屏幕最终显示为透明化的模型叠加融合在相机采集实时影像上。由于相机成像会因为镜片的光学特性而发生有规律的变形或者畸变，包括桶型畸变、枕型畸变和线性畸变，本系统利用 OpenCV for Android 采用张正友相机标定法实现标定与畸形矫正。OpenCV 是一种开源跨平台计算机视觉库。通过 OpenCV 的相机视图（JavaCameraView）展示相机采集影像图层。而模型图层分为 2D 和 3D 模型两类，2D 模型即为 2D 医学图像，通过 Android 控件图像视图（ImageView）呈现。3D 模型为 3D 重建医学图像，要在智能终端上呈现，需要 3D 可视化，即将 STL 文件数据进行 3D 渲染。在 Android 上集成了 OpenGL ES 底层图形库，可实现 3D 图形渲染。本系统基于 OpenGL ES 中专用于 3D 游戏开发的视图类（SurfaceView），自定义 3D 视图（STLView）用于 3D 可视化。对于相机图层和模型图层的叠加融合则采用帧布局管理器（FrameLayout）。它是 Android 的常用布局方式之一，以叠层方式组织内部控件，完全符合本系统需求^[13]。而要使模型图层下的相机图层能够在屏幕上显示出来，只需将模型图层的透明度设为透明即可。

图 5.

AR fusion diagram

AR 融合示意图

3. 应用测试

3.1. 测试环境

由于系统尚未完全开发完善，我们仅在 PC 机上搭建简单的服务器，并通过局域网进行测试。PC 机采用联想小新 700 电竞版，该笔记本配置的 CPU 为 i7-6700HQ，基本频率 2.6 GHz，最大频率 3.5 GHz，支持 4 核心、8 线程。配置了 8 GB 内存，500 GB 硬盘。首先将患者的 2D 医学图像保存在数据库中，再将 3D 重建生成的 STL 文件也保存在数据库中。移动端我们使用小米、魅族、华为等手机安装神外导航软件 APP 进行测试。考虑到测试的硬件环境，且测试的数据量不大，通过局域网进行测试。

3.2. 测试结果

本文测试实验数据为四川大学华西医院 PACS 中的患者头部 MRI 数据集，共 235 张 DICOM 格式 MRI 图像，每张图像大小在 555 KB 左右，共 127 MB。为了保护患者的隐私，本文屏蔽了患者的个人信息。首先通过 PC 端的 VTK 编程对 MRI 数据集进行 3D 算法重建，生成 STL 文件并与患者的 MRI 影像数据一起保存在服务器的数据库中，再用 JAVA 后台程序编写相应的接口，供移动端访问获取数据，进行图像解析和 3D 渲染。测试效果如图 6 所示，表明可对 2D、3D 医学图像进行可视化，基于 3D 模型模拟定位。

图 6.

Test effect

测试效果

针对 Android 平台深度开发定制的 MIUI、ColorOS、EMUI 系统进行测试，结果如表 1 所示。该 APP 的 2D 可视化和头颅定位功能能够在所有测试机型中正常运行；而测试 3D 可视化及头颅体表定位功能时，当 3D 重建的 STL 文件大于 10 MB 时，部分机型会出现无法显示和卡顿的现象，经过 APP 调试发现造成该结果的原因是一些手机对 Android 系统进行了修改和割舍或者对内存使用进行了限制，导致无法正常使用。

表 1. Test results of some models.

部分机型测试结果

手机型号	操作系统	2D 影像	3D 渲染（STL 文件 < 10 MB）	3D 渲染（STL 文件 > 10 MB）	头颅定位（2D）
小米 6	MIUI8.5	正常	正常	无法显示	正常
华为 nova2	EMUI5.1	正常	正常	正常	正常
OPPO R7sPlus	ColorOS V2.1	正常	正常	卡顿	正常

4. 临床应用

4.1. 应用情况

本研究开发的 APP 可通过服务器、本地、翻拍胶片三种方式获取医学图像。在实际使用时，可根据实际条件选择相应的医学图像获取方式。由于本研究应用于患者手术前头颅体表辅助病灶定位，定位区域仅作为手术的参考，并未涉及开颅后的病灶定位，手术切口设计把关还是以医生判断为准，因此符合四川大学华西医院医学伦理审查要求。在四川大学华西医院对 19 例患者进行临床定位分析，获取的医学图像以本地数据和拍照方式获取为主。其中硬膜外血肿 2 例，硬膜下血肿 5 例，颅内血肿 1 例，凹陷性骨折 2 例，颅骨缺损 3 例，颅骨骨折 1 例，脑挫裂伤 2 例，脑积水 2 例，皮下积液 1 例，使用 APP 进行头颅体表定位的临床分析情况见表 2。在手术前结合已有研究^[6]表明，利用本文方法进行幕上病变辅助定位病变中心点，与标准神经导航系统对比误差为（13.6 ± 0.55） mm，用 APP 在患者头颅体表定位出病灶，根据病灶在头颅体表的位置，以该区域为中心，适度向外延伸，并用记号笔标记出延伸后的区域，作为 APP 标记的头颅体表定位病灶区。再将医生设计的手术切口与 APP 标记的头颅体表定位病灶区对比，重叠率在 95% 以上者作为有效定位，穿刺术以医生穿刺点位于区域内为有效，并以医生的手术切口设计、穿刺点为准，进行手术。定位时间采用秒表计时，从利用 APP 选择医学图像时刻作为计时开始，到在患者头皮用记号笔标记出病灶区域作为计时结束。头部体表病灶定位的准确度以切开头皮或打开骨窗时是否包含病灶为标准，包含则为准确，偏差大于 3 mm 及以上为偏差；脑室及血肿穿刺以术前定位穿刺点为标准，穿刺引流管达目标点即为准确，否则为偏差。满意度为手术医生根据 APP 体表定位结果与其手术中实际病灶的位置情况，评价为非常满意、满意、一般或不满意。从表 2 可知 APP 的定位有效率为 100%，定位准确率为 89.47%（17 例患者定位满意，2 例出现偏差），平均定位时长为 2 分 47 秒。表明 APP 头颅体表定位具有较高的准确度且用时较短。

表 2. Clinical application.

临床应用情况

序号	年龄	性别	诊断	手术操作	定位时间	是否有效	准确度	满意度
1	3	男	硬膜外血肿	血肿清除	2 分 35 秒	是	准确	非常满意
2	4	男	凹陷性骨折	骨折整复	2 分 25 秒	是	准确	非常满意
3	15	男	颅骨缺损	颅骨修补	2 分 22 秒	是	准确	非常满意
4	30	男	凹陷性骨折	钛网修复	2 分 28 秒	是	准确	非常满意
5	31	男	颅骨缺损	钛网修复	2 分 49 秒	是	准确	非常满意
6	36	男	硬膜下血肿	血肿清除	2 分 48 秒	是	准确	非常满意
7	38	男	颅骨缺损	颅骨修补	2 分 16 秒	是	准确	非常满意
8	40	男	颅骨骨折	骨折整复	3 分 08 秒	是	准确	非常满意
9	43	女	脑积水	VP 分流	2 分 56 秒	是	准确	非常满意
10	45	男	脑积水	VP 分流	2 分 48 秒	是	偏差	满意
11	47	女	硬膜下血肿	血肿清除	2 分 38 秒	是	准确	非常满意
12	48	男	硬膜外血肿	血肿清除	2 分 49 秒	是	准确	非常满意
13	49	女	皮下积液	积液外引流	2 分 35 秒	是	准确	非常满意
14	64	男	脑挫裂伤	探头置入	2 分 58 秒	是	偏差	满意
15	65	男	脑挫裂伤	探头置入	3 分 02 秒	是	准确	非常满意
16	66	男	硬膜下血肿	钻孔引流	2 分 58 秒	是	准确	非常满意
17	67	男	硬膜下血肿	钻孔引流	3 分 01 秒	是	准确	非常满意
18	68	女	硬膜下血肿	钻孔引流	3 分 08 秒	是	准确	非常满意
19	75	男	颅内血肿	血肿清除	3 分 18 秒	是	准确	非常满意

4.2. 典型案例

4.2.1. 颅骨凹陷性骨折钛网修复术体表定位

患者为 30 岁男性，因工地钢管砸伤左侧颞部致颅骨凹陷性骨折，行钛网修复术。首先将患者体位摆放与患者 3D 头颅病灶胶片所示位置一致，如图 7a 和 7b 所示，再利用 APP 拍摄患者 3D 头颅胶片（见图 7b），并将其选为定位图片，将患者的鼻梁、眼等外部特征作为参照物，通过摄像头实时采集的现实世界患者头部（见图 7a）与 3D 头颅胶片（见图 7b）中的眼眶、鼻梁、外耳、牙齿对齐，如图 7c 所示，实现信息重叠融合，从而看到凹陷性骨折部位在患者头皮的位置，由助手根据显示屏上的提示，用记号笔在患者头皮标记出，如图 7d 和 7e 所示，最后根据头皮标记和医生经验设计手术切口，进行手术。术后患者头颅 3D 影像见图 7f，表明体表定位处完全包含于手术切口内，定位准确。

图 7.

The schematic diagram of scalp positioning of depressed fracture

凹陷性骨折体表定位示意图

a. patient’s head; b. patient’s 3D skull film; c. match fusion of patient’s head and 3D skull film markers; d. describing the lesion area; e. scalp localization of lesion area; f. postoperative 3D skull

a. 患者头部；b. 患者 3D 头颅胶片；c. 患者头部与 3D 头颅胶片标志物匹配融合；d. 描绘病灶区域；e. 头皮定位病灶区；f. 术后患者 3D 头颅

4.2.2. 硬膜外血肿清除术体表定位

硬膜外血肿是神经外科临床上的常见疾病，好发于儿童^[14]。患者为 3 岁 7 个月男性，从约 1 米高处摔下致头部受伤，经头颅 CT 见右侧颞顶部硬膜外血肿，行血肿清除术。首先，凭临床医生经验结合解剖学知识，在患者头部用记号笔勾勒出冠状缝和矢状缝在体表的位置，选择患者最大层面的 CT 图，并在 CT 图上也用记号笔标注出矢状缝的位置，用 APP 拍摄下该 CT 图用于定位影像，通过摄像头采集患者现实中头部实时影像，调整手机位置至患者头部的冠状缝和矢状缝与 CT 图上的冠状缝和矢状缝两侧 4 个点重合，CT 上的血肿区域在患者头皮上的叠加区域即为头皮定位区域，如图 8 左所示，同时助手使用记号笔标记硬膜外血肿在患者体表的投影位置，根据头皮标记和医生经验设计手术切口，进行手术。在开颅后，见血肿包含于切口内，如图 8 右所示，表明定位较准。

图 8.

Hematoma location

血肿定位

5. 讨论

目前，神经外科导航系统的定位已经相对精准，但是由于其设备十分昂贵和操作过程比较复杂，导致其普及和利用率较低，仅用于大型的医院之中，而一些地市级医院本身医疗水平较低，又缺乏相应的导航设备辅助诊断治疗，因此急需一种简单易用、价格较低的导航方式用于神经外科头颅体表定位。大量研究已经证明在没有神经导航系统或负担不了该设备使用费的情况下，可以利用 Sina 软件的定位方式辅助头颅体表定位和设计头皮切口^[4-6]。由于 Sina 软件功能单一，仅支持拍摄照片用于图像融合定位，但在拍摄胶片时，受光线、角度等因素影响，可能造成误差，影响定位效果。因此本研究开发了 APP，能在手机上完成 DICOM 格式医学图像解析，2D、3D 医学图像可视化，并用做定位图像，可减少相机在拍摄胶片时产生的误差。

传统神经外科开颅术是医生术前温习患者 CT 或 MRI 医学影像，然后根据影像的手术指征，结合术者经验与解剖学特征，在患者头颅体表定位并划出皮肤切口和骨窗。对于年轻医生，由于经验缺乏、空间想象不足、病情评估不足、缺乏自信等，制定头皮切口是一个极大的挑战，为弥补病灶定位误差，通常将头皮切口做大。而本研究设计开发的 APP 可以通过多种途径获取患者的医学影像，极大地方便了神经外科医生随时温习患者医学影像上的手术指征，并且可改变传统的阅片方式，通过 3D 可视化患者头颅结构，为医生提供形象生动、真实的 3D 医学图像，通过移动终端触屏实现图像的移动、旋转，可从头颅结构任意角度观察分析病情，对于颅骨骨折的诊断、定位具有较大意义。同时基于 AR 理论，利用 OpenCV 开发自定义相机，采集患者实时的头部影像与 ImageView 展示的 2D 医学图像或者 OpenGL 渲染的 3D 医学图像进行重叠融合，结合解剖学的矢状缝、冠状缝或患者头颅体表特征等参照物进行校准，可以将患者病灶在头颅体表的大体位置化抽象为形象，辅助医生头颅体表定位，制定头皮切口，有效率为 100%，准确率达到了 89.47%，符合循证医学的要求。相对于传统阅片定位过多依赖医生的空间想象力，可能存在想象力盲区，本方法更加形象化，可辅助验证医生的经验判断，提高年轻医生的自信，有利于年轻医生的培养。在辅助完成头颅体表定位时，无需特殊设备固定患者头部，平均定位时间为 2 分 47 秒。经询问多名神经外科医生，都表示该耗时在急诊时可以接受。对比神经导航系统需要多科室配合、手术准备时间较长、费用高、中小型医院普及率低等问题，本研究成果对于急诊、中小型医院辅助头颅体表定位，具有较大意义。但现阶段研究成果也存在 3D 可视化性能差、资源开放获取、信息安全、APP 兼容性等问题，需不断改进。目前，该系统的实际应用分析表明头颅体表病灶定位效果较佳，本研究对于促进神经导航技术的多元化发展，以及医学影像的远程分析、会诊、教学等具有一定意义。

Funding Statement

四川省科技支撑计划（2015sz0193）