基于深度学习的膝关节CT图像自动分割准确性验证研究

Abstract

Objective

To develop a neural network architecture based on deep learning to assist knee CT images automatic segmentation, and validate its accuracy.

Methods

A knee CT scans database was established, and the bony structure was manually annotated. A deep learning neural network architecture was developed independently, and the labeled database was used to train and test the neural network. Metrics of Dice coefficient, average surface distance (ASD), and Hausdorff distance (HD) were calculated to evaluate the accuracy of the neural network. The time of automatic segmentation and manual segmentation was compared. Five orthopedic experts were invited to score the automatic and manual segmentation results using Likert scale and the scores of the two methods were compared.

Results

The automatic segmentation achieved a high accuracy. The Dice coefficient, ASD, and HD of the femur were 0.953±0.037, (0.076±0.048) mm, and (3.101±0.726) mm, respectively; and those of the tibia were 0.950±0.092, (0.083±0.101) mm, and (2.984±0.740) mm, respectively. The time of automatic segmentation was significantly shorter than that of manual segmentation [(2.46±0.45) minutes vs. (64.73±17.07) minutes;t=36.474, P<0.001). The clinical scores of the femur were 4.3±0.3 in the automatic segmentation group and 4.4±0.2 in the manual segmentation group, and the scores of the tibia were 4.5±0.2 and 4.5±0.3, respectively. There was no significant difference between the two groups (t=1.753, P=0.085; t=0.318, P=0.752).

Conclusion

The automatic segmentation of knee CT images based on deep learning has high accuracy and can achieve rapid segmentation and three-dimensional reconstruction. This method will promote the development of new technology-assisted techniques in total knee arthroplasty.

人工全膝关节置换术（total knee arthroplasty，TKA）是目前治疗膝关节终末期疾病的最佳选择^[1-2]。近年来，计算机导航及机器人等新技术发展迅速，TKA手术逐渐向精准化和智能化方向发展。研究表明，与传统TKA相比，新技术辅助TKA在获得满意下肢力线、软组织平衡和膝关节周围软组织保护等方面具有明显优势，并且早期临床疗效更好^[3–7]。随着新技术辅助TKA相关研究的深入，如何提高工作效率以及降低时间、人力及物力等各项准备成本，也成为当前研究热点。基于CT的TKA术前三维规划中，对膝关节 CT图像数据的准确分割与重建是关键环节，但目前分割处理一般由数据处理工程师完成，这一过程耗时费力^[8]。

近年来，人工智能深度学习技术已被成功应用于医学图像处理领域，实现了病变部位或目标区域的自动识别及分割处理，而且准确性高^[9-11]。本研究借助人工智能深度学习技术，自主搭建神经网络PointRend_Unet，在保证分割准确性和鲁棒性的基础上，实现膝关节CT图像数据的快速分割处理，以提高工作效率、降低准备成本，分割结果经临床评价获得了较满意结果。报告如下。

1. 材料与方法

1.1. CT 图像数据库的建立

收集2018年4月—2020年7月解放军总医院第一医学中心拍摄的800例患者双侧膝关节CT图像数据（DICOM格式）。扫描范围为膝关节上20 cm至膝关节下10 cm，层厚0.625～1.000 mm。拍摄时患者取仰卧位，双下肢尽量伸直，双膝并拢，髌骨朝向天花板。为保护患者隐私，所有CT图像数据纳入数据库前去除个人信息。

对膝关节股骨、胫骨、髌骨、腓骨进行逐层手动标注。手动标注方法：将膝关节CT图像数据导入Mimics软件（Materialise公司，比利时），基于阈值法先按照骨骼阈值226 HU设置进行骨性结构重构，选定目标骨性结构后进行阈值增长分割，然后进行人工修整，最终数据以mask格式保存。手动标注工作由3名关节外科专业研究生或住院医师共同完成，初审及修改工作由2名主治医师完成，最终标注结果由1名主任医师审核确认。审核不合格病例退回修改，直至最终审核通过。

将手动标注的CT数据集作为标准数据集（Ground truth data），按照6∶1∶1比例将所有样本随机分为训练集、验证集和测试集。神经网络训练前，将二维横断面DICOM格式数据转换成jpg格式图片，标注文件转换成png格式图片。

1.2. 神经网络的搭建与训练

1.2.1. 神经网络的搭建

分割神经网络模型为PointRend_Unet。首先利用Unet网络^[9]作为主干网络，对膝关节CT图像进行粗分割，然后使用PointRend^[10]对粗分割结果进行精确分割，保证神经网络既能适应CT图像不同横截面骨性结构形态变化，也能获得较高的骨性结构边缘分割准确性。

神经网络搭建分为两个阶段。第1阶段：使用3次下采样学习图像的深层特征，然后进行3次上采样还原图像特征信息。其中，每个下采样层包括2个卷积层和1个池化层，卷积层的卷积核大小为3×3，池化层中的步长大小为2×2，3个下采样层中的卷积核个数分别为128、256、512。每个上采样层包括1个反卷积层和2个卷积层，反卷积层的卷积核大小为2×2，卷积层的卷积核大小为3×3，3个上采样层中的卷积核个数分别为512、256、128。最后一次上采样结束后设有1个dropout层，droupout率设置为0.7。每个卷积层后面均设有激活函数，为relu函数。

第2阶段：选择一组概率值为0.5的点，提取被选择点的特征。这些点的特征通过双线性插值计算，使用一个小型分类器判断上述各点的类别。小型分类器由2个卷积层和3个全连接层构成。见图1。

图 1.

Comparison of segmentation results

分割效果对比图

a. Unet；b. PointRend_Unet； c. 手动分割；d. 原始影像

a. Unet; b. PointRend_Unet; c. Ground truth data; d. Original image

通过神经网络的分割，膝关节CT图像数据分别形成股骨、胫骨、腓骨和髌骨区域，最后通过三维重建技术，生成可视化的目标骨性结构三维模型。见图2。

图 2.

The architecture of PointRend_Unet

PointRend_Unet网络架构图

1.2.2. 神经网络的训练

模型训练过程中，设置标记数据的背景像素值为0、股骨为1、胫骨为2、腓骨为3、髌骨为4，训练的batch_size为6，设置学习率为0.0001，优化器为Adam优化器，损失函数为Dice loss。将训练集全部送入网络进行训练，根据训练过程中损失函数的变化，调整训练批次的大小，最终得到各个部分的粗分割结果。进入PointRend模块后，使用双线性插值先上采样前一步分割预测结果，然后在这个更密集的特征图中选择N个最不确定的点，比如概率值接近0.5的点。然后计算这N个点的特征表示，并且预测它们的标记值，该过程一直被重复，直到上采样到需要的大小。见图3。

图 3.

The training process of neural network

神经网络的训练过程

a. Dice图；b. Loss图

a. Dice figure; b. Loss figure

1.2.3. 神经网络的评估

选择测试集100例膝关节CT数据，对胫骨及股骨通过神经网络自动分割，计算评估分割准确性的相关指标，评价该神经网络训练的效果。评价指标：Dice系数^[12]、平均表面距离（average surface distance，ASD）^[13]、豪斯多夫距离（Hausdorff distance，HD）^[11]，以及每个膝关节CT自动分割、手动分割所需时间。

其中，Dice系数是通过计算自动分割结果（AS）与手动分割结果（GT）之间的交集大小与它们的并集大小比值，量化两者匹配程度，计算公式如下：

ASD和HD为距离相关参数，其中ASD是自动分割结果边缘所有点（ ）与手动分割结果边缘所有点（ ）距离的平均值，计算公式如下：

HD为自动分割结果边缘点（AS）与手动分割结果最近边缘点（GT）之间的最大距离，计算公式如下：

1.3. 分割效果临床评价

从测试集中随机抽取60例患者数据，每例数据包括自动分割图像、手动分割图像和原始图像。临床评价采用单盲形式，由5名骨关节外科医师（1名主任医师、2名副主任医师、2名主治医师）参照原始图像，对股骨和胫骨中影响假体定位的关键解剖位点分割效果进行独立评分。参照李克特量表^[14]，对分割效果分为非常不同意（1分）、不同意（2分）、不一定（3分）、同意（4分）、非常同意（5分）。

1.4. 统计学方法

采用 SPSS26.0统计软件进行分析。计量资料进行正态性检验，如符合正态分布，数据以均数±标准差表示，两种方法分割所需时间比较采用独立样本t检验，分割效果临床评价比较采用配对t检验；检验水准α=0.05。

2. 结果

股骨侧Dice系数为0.953±0.037、ASD为（0.076±0.048）mm、HD为（3.101±0.726） mm；胫骨侧分别为0.950±0.092、（0.083±0.101） mm、（2.984±0.740） mm。自动分割每个膝关节CT图像数据所需时间为（2.46±0.45） min，较手动分割（64.73±17.07） min缩短，差异有统计学意义（t=36.474，P<0.001）。

分割效果临床评价显示，股骨侧自动分割组评分为（4.3±0.3）分、手动分割组为（4.4±0.2）分，胫骨侧评分分别为（4.5±0.2）、（4.5±0.3）分；股骨侧及胫骨侧两组比较差异均无统计学意义（t=1.753，P=0.085；t=0.318，P=0.752）。

3. 讨论

虽然无影像模式及超声等无射线暴露技术正在兴起^[15]，但目前临床常用的TKA新辅助技术主要还是基于CT图像，从患者的CT图像中提取膝关节三维解剖模型，用于后续手术计划。人工处理CT图像数据耗时费力，实现精简、自动、准确的膝关节CT图像分割是TKA新辅助技术大范围临床应用的关键。人工智能技术的发展促使了大量医学影像自动分割系统的开发和研究，常用的神经网络有deeplab或Unet等，这些方法有效提升了自动分割的稳定性，提高了治疗计划工作流程的效率^[16-20]。

TKA术前规划中，假体放置需要参照重要的膝关节骨性解剖标志、关键角度及轴线；为实现术前计划，术中需要将计划涉及的骨性结构与实际膝关节进行准确配准。这些都对膝关节CT图像数据分割处理的准确性提出了更高要求。目前尚无一种神经网络可以真正满足TKA手术规划准确性的要求。骨与软骨界面CT信号界限不明确造成CT图像上骨性结构边缘模糊，以及CT图像相邻层与层之间骨皮质存在不连续现象，影响了自动分割的准确性。目前单独的神经网络模型测试结果均存在上述问题，因此本研究在Unet输出后加入PointRend模块，对相对模糊的边界进行重新分割，以达到骨性结构快速精准分割。

目前还没有统一评估自动分割效果的标准^[20]。本研究重点关注图像分割的边缘效果，因此选取了Dice系数、ASD、HD 3个指标。Dice系数是医学图像分割中最常用的神经网络分割效果评价指标，表示PointRend_Unet分割结果与手动分割结果之间的相似程度，能较好地反映分割效果的内部填充情况。Dice系数范围是0～1，1代表分割结果和手动分割完全一致。ASD和HD是用来评价医学图像分割效果的距离相关参数，能够较好地反映图像边缘的分割效果。ASD表示分割图像边缘上所有的点与手动分割图像边缘点的平均距离，能够较稳定地反映整体分割结果，ASD越小表示神经网络分割效果越好。而HD表示分割图像边缘点与手动分割图像最近边缘点之间的最大距离，相比于ASD，HD对离群值更敏感，HD越小表示神经网络分割效果越好。Wu等^[21]曾使用算法对膝关节CT图像上骨性结构进行自动分割实验，证明了自动分割是可以实现的，且可以提升分割速度，虽然结果显示表面距离误差<1 mm，但没有将该方法用于临床的后续报道。TKA术前三维规划中需要重点分析的骨性结构为股骨与胫骨，对分割准确性要求较高，而髌骨和腓骨准确性要求相对不高，因此本研究仅评价了股骨侧与胫骨侧分割准确度。Dice系数、ASD和HD评价结果提示，本研究搭建的神经网络架构准确性高，自动分割处理所需时间较手动分割明显缩短。为进一步评价其应用于临床的可行性，本研究采用李克特量表对分割结果进行了初步临床评价。结果显示自动分割结果与手术分割结果相似，可以用于TKA术前三维规划，具备临床应用可行性。

综上述， 基于深度学习的膝关节CT图像自动处理准确性高，可以有效提升术前计划的工作效率，对膝关节骨性结构的快速三维重建与分割，有利于TKA新辅助技术的快速发展。

利益冲突　在课题研究和文章撰写过程中不存在利益冲突；项目经费支持没有影响文章观点和对研究数据客观结果的统计分析及其报道

伦理声明　研究方案经中国人民解放军总医院伦理委员会批准（伦审第S2020-102-01号）

作者贡献声明　柴伟：研究设计及实施、数据审核；宋平：研究实施、数据收集整理及统计分析，文章撰写；孔祥朋：研究实施、影像数据标注，数据收集整理及统计分析，文章修改；范哲奇、闵升锋：深度学习神经网络架构搭建、训练及测试；智信、曹正、刘星宇、张逸凌：数据标注及收集整理

Funding Statement

国家骨科与运动康复临床医学研究中心、江苏省中以产业技术研究所以临床应用为导向的医疗创新基金（2021-NCRC-CXJJ-ZH-01）

Clinical Application-Oriented Medical Innovation Foundation from National Clinical Research Center for Orthopedics, Sports Medicine & Rehabilitation and Jiangsu China-Israel Industrial Technical Research Institute Foundation (2021-NCRC-CXJJ-ZH-01)