基于自适应Unet网络的鼻咽癌放疗危及器官自动分割方法

Abstract

Objective

To investigate the accuracy of automatic segmentation of organs at risk (OARs) in radiotherapy for nasopharyngeal carcinoma (NPC).

Methods

The CT image data of 147 NPC patients with manual segmentation of the OARs were randomized into the training set (115 cases), validation set (12 cases), and the test set (20 cases). An improved network based on three-dimensional (3D) Unet was established (named as AUnet) and its efficiency was improved through end-to-end training. Organ size was introduced as a priori knowledge to improve the performance of the model in convolution kernel size design, which enabled the network to better extract the features of different organs of different sizes. The adaptive histogram equalization algorithm was used to preprocess the input CT images to facilitate contour recognition. The similarity evaluation indexes, including Dice Similarity Coefficient (DSC) and Hausdorff Distance (HD), were calculated to verify the validity of segmentation.

Results

DSC and HD of the test dataset were 0.86±0.02 and 4.0±2.0 mm, respectively. No significant difference was found between the results of AUnet and manual segmentation of the OARs (P > 0.05) except for the optic nerves and the optic chiasm.

Conclusion

AUnet, an improved deep learning neural network, is capable of automatic segmentation of the OARs in radiotherapy for NPC based on CT images, and for most organs, the results are comparable to those of manual segmentation.

鼻咽癌是一种常见的恶性肿瘤，放疗是其主要治疗方法之一^[1]。调强放疗（IMRT）^[2-3]和容积旋转调强放疗（VMAT）^[4]在近20年来逐渐成为治疗鼻咽癌的常用技术。这些技术在可以提高靶区剂量的同时，降低危及器官（OARs）的受照风险。放疗计划的目的在于确保肿瘤接受足够剂量的辐射而避免危及器官遭受到过多辐射损伤。危及器官对辐射十分敏感，过多的辐射可能会造成器官不可逆的损伤。因此，危及器官的边界识别十分关键。

勾画靶区和危及器官^[5]，其本质是图像分割任务，通常由经验丰富的医生手动逐层完成。然而，手动分割（MS）过程耗时长^[6]，分割的准确性取决于医生的经验。许多研究发现，不同医生对这些感兴趣区域（ROIs）的分割结果存在较大差异。CT图像自动分割^[7]能显著减少医生的工作量，提高ROIs分割的准确性和一致性。临床上“，基于模板分割”（ABS）^[8-9]和“基于模板的自动分割”（ABAS）^[10-11]是根据以往“配准”经验，融入到新的“分割”问题中，基于ABS的自动勾画方法，已逐渐成为放射治疗中OARs勾画的常用方法之一^[12]。Sims等^[13]对ABS进行临床应用评估，结果显示ABS具有较高的准确性，但进行更进一步的分析发现，使用ABS主要面临两个挑战：首先，由于人体器官的解剖形态常发生改变，很难基于固定的图像建立出一个通用的模板，且由于患者体型、年龄等差异，即使是相同的ROI也可能会有极大的差异。而基于图谱构建患者的模板图像，往往未考虑这种差异，这对于体型偏差较大的患者而言，想获得较为准确的分割结构是比较困难的。其次，ABS的配准时间，受配准部位与范围、图像模态与质量等多种因素影响，常常会有花费大量的配准时间后，仍未取得临床满意的配准精度或结果的现象。

近年来，深度学习方法得到了广泛的应用。如：堆叠式自动编码器（SAEs）^[14]、深度信念网络（DBN）^[15]、受限玻尔兹曼机（RBMs）^[16]、递归神经网络（RNN）^[17]、卷积神经网络（CNN）^[18]等，已成为最流行的深度学习算法。Melendez等^[19]应用多种学习技术检测胸部X线肺结核，其曲线下面积（AUC）为0.86。Hu等^[20]提出了基于CNN和全表面优化的肝脏分割框架，其平均相似系数（DSC）为97%。Esteva等^[21]将大数据集输入到CNN，对皮肤癌进行分类，其准确率高于皮肤科医生。CNN^[22]通过学习大量的输入和输出之间的映射关系，自动提取多层次的视觉特征。当卷积网络经过一定的方法训练（一般是通过反向传播来训练神经网络^[23]的参数），就可以调整各层的权值。Unet是由两个重要的采样组件组成的端到端^[24]体系结构，与CNN相比，它增加了上采样和下采样过程。与典型的CNN不同，Unet采用下采样的方式生成不同分辨率的图像，并对各种分辨率的图像进行卷积。在上采样重建低分辨率的特征图像时，从多个层次提取信息并进行综合。最近出现了一种新的基于嵌套密集跳跃连接的分割结构（Unet++），在图像分割任务上取得了良好的效果。Unet和DDNN都是使用端到端模型与mask-RCNN等非端到端模型的网络不同，非端到端的模型N略微降低了精度，提高了效率也降低了网络复杂度。编码部分提取图像特征，解码部分恢复原始分辨率。与Unet不同，DDNN使用反卷积而不是上采样来恢复原始分辨率。在最近的研究中，Men等^[25]使用CNN和DDNN对头颈部危及器官进行分割，也取得了不错的结果。

目前，对于鼻咽癌OARs的勾画，仍缺乏系统有效的指导。本文方法的提出建立在上述已有方法的研究成果之上，开发了基于Unet的层叠式自适应集群网络（AUnet）。用于鼻咽癌放射治疗中的危及器官的自动分割，该方法不仅能快速、准确的分割OARs，且能改善头颈部的小器官分割效果。它增加了自适应机制^[26]，在不同的编码和解码层可以捕获不同大小的器官，并根据器官的大小计算AUnet网络的卷积，从而采用一种特殊的级联网络结构，来适应不同器官的分割，并利用其先验信息来提高分割精度从而更好地满足临床需求。

1. 材料和方法

1.1. 数据采集

使用大孔径CT模拟机（美国俄亥俄州克利夫兰飞利浦医疗系统公司），按临床要求对鼻咽癌患者行CT扫描，具体参数如下：层厚3 mm，电压120 kVp/140 kVp，电流300 mAs，层间距3 mm，增量3 mm，准直16×0.75（mm），显示FOV 600 mm，扫描FOV 600 mm，重构滤波器UB/B型，螺距为0.567。鼻咽癌患者的OARs，由医师在TPS^{[<xref ref-type="bibr" rid="b27">27</xref>]}勾画，并由另一位资深肿瘤医师进行审核确认。CT和RT结构数据来自广州中山大学肿瘤防治中心（SunYat-sen University Cancer Center, SYSUCC）；所有资料均进行回顾性分析；研究数据已提交至公共研究数据存储平台（<a href="http://www.researchdata.org.cn" target="_blank">www.researchdata.org.cn</a>）备案，批准RDD号为RDDB2018000256。

本文共纳入147例患者，经CT扫描和医生手动分割后，对其直接进行随机分组，通过完全随机化方法（随机数字法）选取20例患者作为测试集^[28]。其余数据随机分为训练组（90%）和验证组（10%），进行10折交叉验证。训练集被输入到AUnet进行模型训练；然后利用验证集对模型的性能进行评价；最后用测试集进行测试。本文总体流程图如图 1所示。

1.

本文的总体流程图

Flow chart of the model.

1.2. 图像预处理

基于深度学习的分割任务，最终的输出与输入图像的质量密切相关。鉴于鼻咽癌患者CT图像中，OARs众多，且一些具有相似的灰度值、形状或纹理，因此本文采用图像增强方法，对输入图像数据进行预处理，以提高图像对比度。

直方图均衡化（HE）^[29]是图像增强的一种基本方法，而自适应直方图均衡化（AHE）^[30]是通过直方图均衡化（HE）改进而来。AHE提高了局部对比度，增强了图像各区域的边缘锐利度，提高了原始CT图像的质量，改善了器官的形状、纹理和边界信息。在输入网络之前，归一化图像灰度值为[0~1]，图像大小为512×512。

1.3. 数据增强

为克服神经网络容易产生过拟合现象，本文对数据图像采用了随机剪切、翻转、灰度扰动和形状扰动等增强技术来克服这一问题^[31-32]。

灰度扰动可以在小范围内对每个像素进行变换，本文将CT图像的灰度值乘以一个随机数[0.85~1.15]，再加上一个随机数[-0.15~0.15]。训练集中的灰度扰动可以提高网络的稳定性，从而提高预测集中网络的性能。

采用仿射变换^[33]对CT图像和轮廓图像进行变形，以形成形状扰动。变形方法如下：首先，我们得到3个顶点（左上角、右上角和左下角）的坐标。然后每个点随机移动。随机移动的范围为图像长度。最后，对整个图像进行仿射变换。

图像增强后，训练集（115例）与验证集（12例）均扩大3倍，总共获得381套（127×3）数据用于训练与调参。

1.4. AUnet模型

本文基于Unet模型^[34]，引入了自适应机制，生成AUnet的改进网络结构，达到对鼻咽癌放射治疗中的OARs进行自动分割的目的。AUnet网络具有多个编码器和解码器部分（图 2）；编码器网络用于提取医学图像的视觉特征，解码器网络通过反卷积恢复原始分辨率。不同尺度的卷积层次侧重于处理不同大小的器官。卷积之前，先将该尺度层的图像数据与上采样后的下一尺度层的图像数据进行拼接。在不同分辨率图像上收集的特征，不仅在同一层次内流动，而且还传递到层次间（上一层）；这种设计和跳跃连接一起提高了网络的信息利用率（图 2）。

2.

本文的AUnet结构

The proposedAUnet architecture.

AUnet的分割模型中，引入自适应机制，即在处理和分析过程中，根据处理数据的数据特征自动调整处理方法、处理顺序、处理参数、边界条件或约束条件，使其与所处理数据的统计分布特征、结构特征相适应，以取得最佳的处理效果的过程。在AUnet模型中，编码器可以从多个尺度捕获各种低水平的特征，包括强度、纹理和轮廓原始信息。解码结束时，从特征图像中提取感知域的全局和局部感知信息。每个编码模块通过使用不同的大小过滤器来学习多个尺度特征，其大小由器官的体积来计算。结合这些多尺度特征，AUnet可以保持边界、纹理和形状的可靠信息，大大提高了分割精度。

根据器官的体积来计算每层卷积核的大小。其边缘长度由式（1）得到，其中v_j为第j个器官的体积，v_sum为整个图像的体积，size表示每个层次的特征图大小。每个图像可计算一系列r_i，公式如下：

1

卷积核的大小与器官的大小有关。如图 2所示的网络结构中，x_{0, 0}为输入，x_{4, 0}为输出，在方形网络的上部，将卷积的大小设置为更小，以便捕捉更小的器官特征；在方形网络的下部，经过下采样的图像，分辨率较大，适合捕捉较大的器官特征。因此我们将卷积核的尺寸设置为大于相对网络的上半部分。根据器官的体积计算卷积核尺寸。如果器官的数量大于下采样尺度层的数量（有r_i不能分配到相应的尺度层），则丢弃较小的r_i。在网络输出预测图像后，通过“开运算”来平滑轮廓和消除较小的异常值。如图 3所示，设置好每层的卷积核尺寸大小后，输入图像在多次特征提取后从x_{0, 0}到x_{0, 4}，具有器官的特征信息，x_{0, 4}通过上采样后将这些特征数据与每层的输出数据累加后，再次进行特征提取。图 3中的跳跃连接在图 4中进行了详细表示，其中，G（x）代表卷积操作，F（x）代表卷积后的结果G（x）与输入数据x的叠加操作。

3.

AUnet细节图

Detail ofAUnet.

4.

AUnet跳跃连接示意图

Diagram ofAUnet skip connection.

本研究中提出的AUnet将CT图像输入到网络中。在输入之前，对CT图像进行预处理，以提高轮廓的清晰度。为了提高模型训练的效率，实现了端到端的训练过程，训练完成的AUnet网络可以同时对所选的15个器官进行分割。Unet、AUnet、DDNN均采用端到端模型，与掩码mask-RCNN等非端到端模型的网络不同，其精度略有降低，效率有所提高，网络复杂度有所降低，在每个编码和解码层中，加入自适应卷积核运算，根据各层器官的体积计算卷积核的大小，使网络能够在不同分辨率的图像中提取不同大小的器官特征。

特别设计的网络结构和自适应卷积可以根据垂直方向的图像分辨率捕获不同的器官特征。在水平方向上，可以综合前层网络捕获的特征信息。这种层次化的处理机制使信息在网络中得到更有效的处理。

1.5. 损失函数

在医学图像分割中，正样本只占总样本中的一部分。在损耗设计中，需要减少负样本在损耗中的权重，以缓解样本不平衡的问题。我们使用焦损^[35]作为网络的损失函数^[36]，它可以平衡由于正负样本间的差异导致的性能下降。公式2解释了如何计算损失值。p_t表示t类的概率，t类中样本数量与α_t，α_t为压缩因子，用于减少易分类样本的损失。γ的一般值设置为5。

2

1.6. 实验

由于鼻咽癌危及器官众多，且形状和体积有较大的差异，我们选择了其中12个主要器官^[37-38]（包括：脑干、脊髓、左腮腺、右腮腺、左眼、右眼、左颞叶、右颞叶、喉、左下颌腺、右下颌腺、甲状腺），用于评估算法的分割。此外，针对若干小器官（包括：左侧视神经、右侧视神经和视交叉），并将AUnet与传统的Unet和DDNN进行了比较。

AUnet分割模型同时对12个主要器官和3个小器官进行分割，训练一个AUnet同时得到15个器官的结果，我们使用深度学习来实现模型的培训、评估、错误分析和可视化。在实验中采用数据增强技术，如：随机剪切、翻转、灰度扰动和形状扰动四种数据增强技术后，采用随机动量梯度下降来优化损失函数，设置初始学习率为0.0001，学习率衰减因子设置为0.0005，衰减步长设置为2000，当验证集的损失函数不再减少时，我们不再使用固定的步骤训练模型，直到训练集的平均精度收敛。测试环境使用Nvidia 2080ti GPU；整个训练过程花费约45个小时。

1.7. 定量评价

在测试阶段，我们对所有三维CT图像逐一进行测试。输入为三维CT图像，最终输出以像素级分类后，最可能的分类标签为输出轮廓。采用相似系数（DSC）和Hausdorff距离（HD）^[39]对结果进行了定量分析，并与医生的手动分割进行了比较。

DSC相似系数计算方法，如公式（3）所示：

3

其中$\left| {A \cap B} \right|$表示A和B的交。

HD的计算方法，如公式（4）所示：

4

其中H（a，b）表示集合A中的点与集合B之间的最大距离，表示为：

5

2. 结果

在表 1中，OARs的DSC值均大于0.73，均值为0.86，HD值均在4.7 mm以内，均值为4.0 mm。其中：眼睛分割的准确率最高，DSC达到0.93；而脊髓DSC值较低，HD值为3.5 mm。

1.

自动分割定量结果

Quantitative results of the automatic segmentation (Mean±SD)

OAR	DSC				HD (mm)
	AUnet	DDNN	Unet		AUnet	DDNN	Unet
Brainstem	0.90±0.01	0.85±0.01	0.62±0.02		3.5±1.2	3.6±1.3	3.6±1.2
Spinal cord	0.73±0.03	0.69±0.05	0.45±0.04		3.5±1.0	3.6±1.2	3.7±1.2
Left parotid	0.84±0.02	0.78±0.04	0.52±0.02		4.1±1.1	4.3±1.3	4.2±1.2
Right parotid	0.83±0.02	0.77±0.03	0.55±0.03		4.1±1.1	4.3±1.1	4.2±1.2
Left eye	0.93±0.01	0.87±0.02	0.70±0.02		3.3±1.0	3.3±1.1	3.5±1.1
Right eye	0.92±0.02	0.86±0.02	0.69±0.02		3.2±1.1	3.3±1.0	3.5±1.2
Left temporal lobe	0.89±0.02	0.83±0.02	0.58±0.03		4.5±1.6	4.8±1.7	4.7±1.5
Right temporal lobe	0.90±0.02	0.84±0.03	0.61±0.03		4.7±1.5	5.0±1.6	4.8±1.5
Larynx	0.87±0.03	0.82±0.03	0.56±0.04		4.3±1.0	4.5±1.1	4.6±1.3
Left submandibular	0.88±0.02	0.82±0.02	0.58±0.03		4.1±1.3	4.3±1.5	4.6±1.6
Right submandibular	0.86±0.03	0.81±0.04	0.53±0.03		4.3±1.2	4.6±1.5	4.7±1.5
Thyroid gland	0.83±0.03	0.78±0.02	0.56±0.03		4.5±1.3	4.9±1.7	4.9±2.0
Mean	0.86±0.02	0.81±0.03	0.58±0.03		4.0±1.2	4.2±1.2	4.3±1.1

AUnet、DDNN和Unet在12个器官上的DSC和HD平均值（图 5、6）。

5.

12个器官DSC相似系数的箱式图

Boxplots obtained from Dice Similarity Coefficient analyses in 12 organs. The square represents the average value and the crossrepresents the outlier value.

6.

12个器官HD值的箱式图

Boxplots obtained from Hausdorff Distance analyses in 12 organs. The square represents the average value.

随机选择一批实验的分割结果（图 7），从而揭示本文提出网络的性能。使用AUnet研究模型自动分割的20例测试集患者的CT图像中的OARs，自动分割的平均分割时间约为13秒，较人工勾画效率有了极大提高。本研究结果还表明，自动勾画结果与手动勾画器官的位置差异较小（图 7）。

7.

12个OARs对应的自动分割结果（上一行）与手动分割结果（下一行）比较

Results of automatic segmentation for 12 organs. The top panel shows the results of AUnet, and the rest are the corresponding real labels (left eye, right eye, left temporal lobe, right temporal lobe, brainstem, spinal cord, left parotid, right parotid, left submandibular, right submandibular, larynx, and thyroid gland).

10折交叉验证结果中的一个（图 8）。结果表明，经过约250个epoch后，损失函数逐渐趋于稳定。AUnet自动分割结果，与医生手动分割结果之间无统计学差异（P > 0.05）。

8.

AUnet的训练损失曲线

Training loss curve with 1-DSC as the accuracy index.

作为深度学习最流行的算法之一，深度卷积神经网络由多个卷积层和池化层组成，可以提取多层次的视觉特征，用于自动预测。这些池化层会从x，y，z方向同时下采样，而头颈部放疗危及器官中包含很多小器官，其中如视神经、视交叉这些小器官所占的层数较少，一般只有两到三层。而经过多次的池化后，小器官的特征很容易被丢失，使得小器官的分割精度不高。本模型对内存需求较大，所以没有采用太深的特征提取网络，这可能是导致小器官分割效果不理想的主要原因。在接下来的研究中，我们将尝试设计更深的特征提取结构来进行对比分析，以进一步提高分割表现。Zijdenbos等^[40]提出DSC > 0.7则表示两种重复度高，分割效果较好。表 2列出了测试集小器官自动分割精度的量化评价指标（DSC和HD）值，AUnet分割的DSC值均在0.50以上（平均值为0.61），HD值在4.0 mm内（平均值为3.4 mm），而小器官的DSC数值虽然低，但HD值仅为3.4 mm，也说明分割精度较高，其DSC数值低是因为小器官的体积较小，导致DSC计算数值较低。因为器官体积较小，左侧视神经、右侧视神经、视交叉的AUnet分割结果，有与手动分割存在统计学差异；但与传统的Unet和DDNN相比，已有较大的改进（表 2）。

2.

AUnet与传统Unet及DDNN检测小器官的比较

Comparisons betweenAUnet, traditional Unet and DDNN for testing small organs (Mean±SD)

OAR	DSC				HD (mm)
	AUnet	DDNN	Unet		AUnet	DDNN	Unet
Optic nerve left	0.57±0.02	0.51±0.02	0.26±0.03		3.3±1.0	3.3±0.9	3.5±1.2
Optic nerve right	0.59±0.02	0.49±0.01	0.28±0.02		3.5±1.1	3.6±1.1	3.7±1.2
Optic chiasm	0.69±0.01	0.60±0.02	0.31±0.01		3.4±0.9	3.4±1.1	3.6±1.1
Mean	0.62±0.02	0.53±0.02	0.28±0.02		3.4±1.0	3.4±1.0	3.6±1.2

3. 讨论

如何提高鼻咽癌放射治疗中的危及器官（OARs）的自动分割的准确度以满足临床要求, 减少临床专家的工作量, 是本研究的难点和出发点。本研究采用AUnet网络分割鼻咽癌CT图像中OARs。在训练过程中应用图像预处理和数据增强方法，分别以提高轮廓的清晰度和增加数据量。在Unet网络的基础上，结合器官体积信息，自适应调节网络结构，以提高最终结果的精确度——器官大小信息决定了卷积核的大小，合适的卷积核更容易捕获相应器官的特征。特别设计的网络结构和自适应卷积，可以根据垂直方向的图像分辨率捕获不同的器官特征；在水平方向上，可以综合前层网络捕获的特征信息。这种层次化的处理机制使信息在网络中得到更有效的处理。

与其他分割模型相比，Unet、AUnet、DDNN均采用端到端模型，与掩码mask-RCNN等非端到端模型网络不同，其精度略有降低，效率有所提高，网络复杂度有所降低。Unet中输入数据每经过一个池化层就有一个新的尺度，在上采样部分，每经过一次上采样，就与特征对应部分做同尺度融合。AUnet相比Unet在每一个尺度经过更多的卷积处理，经过跳跃连接和上采样叠加后的数据做融合能给网络提供更多信息，与Unet的分割结果比较，DSC值比Unet提高了0.31，HD值降低了0.3 mm。AUnet相比DDNN在每个编码和解码层中，加入自适应卷积核运算，根据各层器官的体积计算卷积核的大小，使网络能够在不同分辨率的图像中提取不同大小的器官特征，分割结果DSC值比DDNN的分割结果高0.05，HD低0.2 mm。

在与医生手动分割的结果进行对比后发现，AUnet自动分割与手动分割之间基本差异无统计学意义（P > 0.05）。而且AUnet可以移植应用于其他部位的肿瘤，具有良好的扩展性。综上所述，AUnet具有改善手动分割结果，提高放射治疗工作效率的潜力。

基于自适应Unet的鼻咽癌放疗危及器官自动分割技术的开发应用，最主要的优势是能够节省临床医生在勾画感兴趣区域的时间，在提高工作效率的前提下，并保证所勾画的靶区轮廓的一致性，最大限度地降低勾画者自身重复性不佳及不同勾画者间产生的差异性。

在小器官（视神经和视交叉）的分割上，AUnet分割结果的平均DSC值为0.62，比DDNN、Unet分别提升了0.09和0.34。

基于自适应Unet的鼻咽癌放疗危及器官自动分割技术的上述优势无疑能够满足自适应放疗计划系统快速、准确、重复、稳定产生多个靶区或正常器官的要求。根据表 1所见，AUnet分割模型同时对12个主要器官和3个小器官进行分割，训练一个AUnet同时得到15个器官的结果，OARs的DSC值均大于0.73，均值为0.86，HD值均在4.7 mm以内，均值为4.0 mm，说明本文方法可以准确地分割危及器官。目前，小器官的分割依旧是医学图像分割中最困难的问题之一。将来，可以在本文的基础上，进一步完善提高小器官分割的准确性。如：结合多模态医学图像、增加训练数据提升模型性能等。

Biography

杨鑫，博士，硕士生导师，助理研究员，E-mail: yangxin@sysucc.org.cn

Funding Statement

广东省自然科学基金（2017A030310217）；广州市珠江科技新星（201710010162）；大学生创新创业训练计划（202013902062，202013902065，20191390109，201813902075，201813902071，201713902050）；国家863计划项目（2006AA02Z4B4）