基于改进V型网络的磁共振图像前列腺区域分割

Abstract

Magnetic resonance (MR) imaging is an important tool for prostate cancer diagnosis, and accurate segmentation of MR prostate regions by computer-aided diagnostic techniques is important for the diagnosis of prostate cancer. In this paper, we propose an improved end-to-end three-dimensional image segmentation network using a deep learning approach to the traditional V-Net network (V-Net) network in order to provide more accurate image segmentation results. Firstly, we fused the soft attention mechanism into the traditional V-Net's jump connection, and combined short jump connection and small convolutional kernel to further improve the network segmentation accuracy. Then the prostate region was segmented using the Prostate MR Image Segmentation 2012 (PROMISE 12) challenge dataset, and the model was evaluated using the dice similarity coefficient (DSC) and Hausdorff distance (HD). The DSC and HD values of the segmented model could reach 0.903 and 3.912 mm, respectively. The experimental results show that the algorithm in this paper can provide more accurate three-dimensional segmentation results, which can accurately and efficiently segment prostate MR images and provide a reliable basis for clinical diagnosis and treatment.

0. 引言

根据世界卫生组织国际癌症研究机构2020年发布的全球癌症统计数据显示，前列腺癌是2020年男性第二大常见癌症^[1]，发病率和死亡率仅次于肺癌，并且其也是世界上超过一半的国家中男性最常诊断出的癌症。近年来，随着人口老龄化程度的不断加深，我国前列腺癌发病率及死亡率都有逐年增高的趋势^[2-3]，2020年我国前列腺癌的新发病例数为11.5万人，死亡人数为5.1万人^[4]。早期前列腺癌可以进行有效诊疗和控制，及时接受根治性手术可以获得良好的预后，在晚期时前列腺癌通常会转移，患者前列腺癌细胞未发生转移则其生存时期或较长，癌细胞转移后则难以治愈^[5-7]，所以前列腺癌早筛查、早治疗就极为重要。

磁共振（magnetic resonance，MR）成像作为一种无损无创的影像学检查工具，在前列腺癌的检测和诊断中发挥着重要的作用^[8]。在进行前列腺诊断时，医生首先要将MR图像中感兴趣区域分割出来，进而获得其位置、大小、形状等信息。随着计算机辅助诊断技术的不断发展，利用计算机辅助诊断技术进行前列腺癌的诊断，可以有效地提高临床医生的诊断效率^[9]。而前列腺区域的精确划分，是计算机辅助诊断前列腺癌的关键环节，直接影响对肿瘤良恶性的准确判断。

在过去的几十年间，研究者们基于传统的方法提出了很多前列腺区域分割算法，包括传统机器学习算法、水平集、主动轮廓模型等方法。例如，Vincent等^[10]提出了一种基于主动外观模型构建的全自动系统分割前列腺MR图像，但该方法有时会忽略插值导致的尖锐特征。Malmberg等^[11]提出了一种交互式分割前列腺MR图像的通用方法，以二维切片显示分割结果，但该方法需要人工较多地进行交互。张永德等^[12]提出的基于边缘距离正则化的两步前列腺MR图像分割方法，首先在T1图像分割出前列腺外轮廓，之后在T2加权图像上分割出前列腺内轮廓，该方法只能对二维图像进行分割，不能进行三维图像分割。

近年来，随着计算机技术的不断发展，深度学习技术已逐渐应用于医学图像分割领域^[13-14]，以U型网络（U-Net）为代表的全卷积网络（fully convolutional network，FCN）取得了良好的性能^[15-16]，研究人员提出了各种基于FCN的医学图像分割方法^[17]。Milletari等^[18]提出的V型网络（V-Net）是一种可以对图像体素进行处理的FCN，虽然效果有一定的提升，但是该模型的泛化程度较低且边界不清晰。Kohl等^[19]将对抗网络的思想结合进U-Net网络中，提出了一种新的卷积神经网络，该方法虽然能有效地检测出病灶大致区域，但是分割精度需要加强。因此，准确有效地自动分割前列腺仍然是前列腺干预和前列腺癌检测中重要且困难的任务。

本文以传统V-Net为框架，引入软注意力机制，对前列腺MR图像的 T2加权图像进行分割算法研究，利用搭建好的网络模型直接对现有图像进行处理，以期实现端到端的三维图像分割，达到提高原有算法自动分割精度的目的，进而为临床诊断和治疗提供可靠的依据。

1. 材料与方法

1.1. 实验数据

本文研究的数据来源为国际医学图像计算和计算机辅助干预协会组织的前列腺MR图像分割评估2012年挑战赛（prostate MR image segmentation evaluation 2012，PROMISE 12）（网址：https://promise12.grand-challenge.org/）中提供的免费公开使用的图像数据集^[20]。该数据集包含50例患有良性疾病和前列腺癌患者的MR T2加权图像及对应的金标准区域。金标准区域首先由经验丰富的医生手动分割，之后再由专家进行确认，以确保分割结果的准确性。

1.2. 实验流程

由于数据集图像的空间分辨率从320 × 320到512 × 512，切片数量从24～48片不等，所以要先进行数据预处理，通过对体积的重新采样和插值，将它们统一分辨率调整到128 × 128 × 64的相同维度，并且使用随机数据增强方法来增加图像数量。随机数据增强方法包括随机水平翻转、随机角度旋转、平移、缩放以及加噪声等操作进行十倍扩充。将扩增后的训练样本按照 8:2 的比例分为训练集和测试集，使用5折交叉验证的方式训练网络模型。在模型训练时将图像和掩码一一对应送入改进V-Net网络进行模型训练，通过戴斯相似系数（dice similarity coefficient，DSC），豪斯多夫距离（hausdorff distance，HD），敏感度（sensitivity，SEN）和精确度（precision，PRE）来衡量模型性能。调取合适参数，取得最优解后预测分割结果，实验整个流程图如图1所示。

图 1.

The experiment flow chart in this research

本文实验流程图

1.3. 方法

1.3.1. V-Net模型

U-Net的提出为医学图像分割领域提供了新方法，并且其也成为了最常用的图像分割网络之一。在此基础上，V-Net提出了一种广泛应用于三维图像的分割模型，并使用三维卷积来捕捉更多特征信息，以预测每个体素的分类。此外，V-Net引入了新的目标函数，该目标函数专门用于医学图像分割，可以处理由目标区域较小而造成的样本极端不平衡的情况。由于V-Net具有出色的性能，在进行如肺结节、脑肿瘤、胰腺肿瘤等具有三维结构的病灶分割时，也可以获得良好效果^[21-22]。V-Net为一种典型的编码器—解码器结构，编码器部分将不同分辨率下的操作分为不同阶段，每个阶段分别进行卷积操作，并且由于受到残差网络（residual net，ResNet）的启发^[23]，在进行下采样操作前引入残差学习，可使网络更深入，同时减轻梯度消失问题。具体而言，下采样会减少输入的尺寸并增加后续网络层的感受野；解码器部分主要是提取特征和扩展低分辨率的空间支持，并通过卷积操作将分割结果恢复成与输入图像大小一致的分割结果。在编码器中每个阶段的结果都会作为解码器的部分输入，以保留相关信息提升分割结果的精度。

1.3.2. 注意力机制

在深度学习领域，注意力机制在图像处理领域中发挥着很大的作用，无论是图像分类、分割还是重建，都可以看到注意力机制的身影，其已经成为神经网络技术中最值得关注的重要组成部分。与人类的视觉注意力机制相似，人类可以通过快速扫描全局的图像，定位到需要重点关注的部分，然后对这区域投入更多的精力，以获取目标区域的更多信息，人类的视觉注意力机制极大地提高了对信息处理的准确性及效率。其中，注意力U-net（attention U-Net，At-Unet）^[24]将软注意力机制融入了U-Net网络中用于医学图像的分割。At-Unet在U-Net的跳跃连接过程中加入了注意力门（attention gate，AG）模块，可以使网络在使用编码器的相关特征时，更多地注意与输入相关的特定部分，而不是每个输入的特征，AG模块如图2所示。

图 2.

AG module

AG模块

图2中，g为来自于下一层的解码层特征图，x为来自于上一层的编码层特征图，分别通过1×1×1的卷积层后相加，之后经过线性整流（rectified linear unit，ReLU）激活函数、1×1×1的卷积层和S型生长曲线（sigmoid）激活函数，通过重采样后可得到与输入的编码层特征图大小相同的注意力系数α，注意力系数的值为0～1之间，这一部分是可导的，可以通过训练调节注意力系数的值，最后将注意力系数α和编码层特征图x相乘得到最终的输出特征图。

1.3.3. 改进V-Net网络

传统的V-Net采用和U-Net相同的跳跃连接机制，允许解码器在解码期间使用来自编码器提取的特征，但是这种机制并没有充分利用到编码器阶段提取到的低层特征信息。本文以V-Net为基础框架，将AG模块融入V-Net中，改进了其跳跃连接部分的输出机制，使网络更多关注目标区域的信息，进而提升整个分割网络的性能，改进V-Net 模型架构的示意图如图3所示。

图 3.

A schematic representation of improved V-Net model architecture

改进V-Net模型架构的示意图

本文考虑将整个MR图像输入网络，可充分利用其三维空间信息，因此首先将输入图像统一到同一分辨率大小，即统一成128 × 128 × 64的尺寸，该网络架构中定义了一个卷积—标准化—激活—随机失活（convolution-batchnorm-ReLU-dropout, CBRD）块，它由两个连续的3 × 3 × 3卷积层，批量标准化（batch normalization，BN）层和 ReLu 激活函数层以及随机失活（dropout）层共同组成。BN层被视为正则化器，这使得网络更加泛化，并且提高神经网络的训练速度^[25]。两个3×3×3的卷积有着和5 × 5 × 5的卷积核相同的感受野，参数量却更少，这也称为卷积层的智能分解^[26]。dropout 层被添加在神经网络中，可以在模型训练期间随机舍弃部分神经元，以防止出现过拟合的情况，进而提高整个网络的性能。此外，CBRD块中的所有卷积都应用了适当的填充，在解码和编码的过程中每一层都由许多的CBRD块组成。使用步长为2的2 × 2 × 2的卷积来完成下采样操作，每次下采样操作将体积减少为原来的2倍，并增加了网络层的感受野，与普通的池化操作不同，步长为2的卷积操作增加了特征间的依赖关系，以防止特征丢失。由于没有输出映射池化层的反向传播，利用卷积操作来代替池化操作可以使训练期间占用更小的内存。

在编码完成后进行解码操作时，使用转置卷积进行上采样。在上采样期间，U-Net在相应的编码器层与解码器层之间级联，以形成长跳跃连接，从而提供更多的特征并有助于恢复下采样过程中丢失的空间信息。在此基础上，将AG模块加到长跳跃连接之间。AG模块两个输入信号分别来自于上一层的编码层特征图以及下一层的解码层特征图，在经过AG模块之后，会得到带有注意力权重系数的输出特征图，让目标区域的注意力系数值趋近1，不相关的区域趋近0。这样，注意力就被聚焦在目标区域的分割上，同时抑制神经网络去学习与目标区域不相关的区域。

除了这些长跳跃连接外，CBRD块之间还使用了短跳跃连接，这提供了更快的收敛速度并防止了深度网络中的梯度消失问题^[27]。最后一个卷积层的输出将通过一个1 × 1 × 1的卷积和sigmoid 激活函数进行最终的分类预测，当体素点的预测结果大于阈值（本文设置为 0.6）时，则被预测为前景，从而得到整个图像的分割结果。

1.4. 模型训练

本文软硬件环境为：机器学习平台TensorFlow（Google Inc.，美国），编程语言Python 3.6（Centrum Wiskunde & Informatica，荷兰），操作系统CentOS（Red Hat Inc.，美国），中央处理器（Intel(R) Xeon(R) Gold 6132 @ 2.60 GHz，Intel Inc.，美国），图形处理器（NVIDIA Tesla V100，NVIDIA Inc，美国）。实验初始学习率为0.000 1，批处理大小设置为2，训练迭代周期（epoch）为22 949，使用自适应矩估计（adaptive moment estimation，Adam）优化算法自适应地调整学习率。

模型训练使用特维斯基损失函数（Tversky Loss），它是DSC和杰卡德（Jaccard）系数的广义系数，Tversky Loss公式如式(1)所示：

1

式中，A表示模型分割出的预测图像，而B表示标注好的真实掩码图像。通过调整α和β这两个超参数可以控制这两者之间的权衡，进而影响SEN等指标。本网络中α = 0.7、β = 0.3。

1.5. 评价指标

为了实现对网络模型的定量评估，本文使用DSC、HD、SEN、PRE作为评价指标，如式(2)～式(5)所示：

2

3

4

5

式中，表示了集合AB间所有像素点对之间的最大值，表示了集合A中像素点a到集合B中像素点b的最小距离的最大值。同理可得，表示了集合B中像素点b到集合A中像素点a的最小距离的最大值。以上指标中DSC用来衡量预测结果和金标准之间的相似度；HD衡量了网络预测结果和标签图像的最大不匹配度；SEN表示了预测结果中分类正确的像素占金标准中总像素的比例；PRE表示了预测结果中分类正确的像素占分割结果中总像素的比例。

2. 结果与讨论

2.1. 实验结果

模型训练开始时，本文所提网络会尝试在图像中心找到一个椭圆形物体。随着迭代次数的不断增加，网络会不断调整参数以寻找最优解。本文模型最优训练时间约为5 h，epoch设置过大会造成过拟合现象，而如果epoch设置的不足则会欠拟合，本文中的epoch设置为10倍的训练图像，保存不同参数下的训练结果。通过对同一图像进行预测，将训练过程中的预测图像变化可视化，如图4所示。

图 4.

Visualization of segmentation during model training

模型训练过程中分割的可视化

在对测试集进行测试时，将测试数据输入训练好的最优模型进行预测，计算评价指标，无需过多的后处理，即可得到前列腺区域分割结果。随机选取其中一例患者的金标准和预测结果的三维图像不同视图展示结果，如图5所示。

图 5.

Gold standard and network prediction results of a patient

一例患者的金标准和网络预测结果

本文提出的改进V-Net算法DSC值为0.903，HD值为3.912 mm，SEN和PRE分别为0.892和0.887，明显优于V-Net网络的分割结果，如表1所示。将同一幅图像分割结果与V-Net网络分割结果和医生分割出的金标准进行对比，其水平面、矢状面和冠状面分割结果如图6所示，其中红色标签为医生分割的金标准图像，绿色标签为本文提出的改进V-Net的分割结果，黄色标签为V-Net的分割结果，可以明显看出，在三个解剖面内本文提出的改进V-Net算法都明显优于V-Net算法的分割结果。

表 1. Comparison of segmentation results between the algorithm in this paper and V-Net.

本文算法与V-Net的分割结果对比

算法	DSC	HD/mm	SEN	PRE
V-Net	0.867	5.710	0.874	0.861
改进V-Net（本文）	0.903	3.912	0.892	0.887

图 6.

Comparison of the algorithm in this paper with V-Net results and the gold standard

本文算法结果与V-Net结果和金标准的对比

2.2. 与其他算法对比

在使用同一数据集的情况下，如图7所示，分别是以本文算法、文献[18]和文献[28]中不同深度学习方法所得到的同一测试样本的分割结果以及医生给出的金标准区域，其中青色区域为三维U-Net（three-dimensional U-Net，3D-Unet）的分割结果，黄色区域为V-Net的分割结果，红色区域为金标准区域，绿色区域为本文算法分割结果，通过图7可以直观看出，本文算法优于其他两种深度学习算法。

图 7.

Segmentation results of different deep learning methods and the gold standard

不同深度学习方法的分割结果以及金标准区域

表2中分别列举了文献[10]、文献[23]、文献[29]中提出的算法在前列腺MR图像区域分割得到的DSC值和HD值。可以看出，其中文献[29]所提算法分割效果最差，DSC值为0.835，HD值为7.73 mm。其余算法中，文献[10]的算法分割效果较好为0.879，但是由于该方法会忽视掉尖锐特征，DSC值仍低于本文提出的算法。文献[23]的V-Net方法相比于其他算法获得HD值较低，为5.71 mm，但仍然大于本文中提出的算法，这表明本文提出的改进V-Net算法对前列腺MR图像的分割效果较好，精度较高。

表 2. Comparison of segmentation results of different algorithms.

不同算法分割结果对比

算法	DSC值	HD/mm
文献[10]	0.879	5.935
文献[29]	0.835	7.730
文献[23]	0.867	5.710
改进V-Net（本文）	0.903	3.912

2.3. 讨论

对于MR图像中前列腺区域而言，由于前列腺与周围组织形状差异较大，占图像比例较小，并且存在与相邻器官一侧边界模糊的问题，临床医生在进行人工分割标注时会存在主观性大、耗时长等问题，因此需要一种自动的前列腺区域分割算法以提高效率。此外，医学图像大多是三维的，在进行疾病诊断时，需要评定病灶的体积大小，如果先对二维切片进行处理，再进行三维重建，整个处理过程将消耗很多时间。因此，在这种情况下，直接对三维图像进行处理，并自动将前列腺区域分割出来，将在一定程度上提高分割的速度，进而提高计算机辅助诊断前列腺相关疾病的效率。

本文提出的算法，可以直接对三维图像进行处理，一次输入整个三维图像，在没有进行后处理的情况下，分割效果依然优于传统的V-Net网络。通过图6展示的本文算法与V-Net和金标准的不同解剖面的分割结果对比图可以看出，作为基线的V-Net网络虽然能够把前列腺区域分割出来，但仍然存在假阳性区域，分割结果不准确等现象，这可能是由于分割网络对特征提取的不明显所致。本文提出的算法通过引入软注意力机制，可以使网络更多地关注目标区域，从而提高网络的分割精度，因此在结果上更接近于医生勾画的金标准区域。在使用DSC和HD进行评估时，本文提出的算法DSC值相比V-Net提升了3.6%，HD降低了1.798 mm。本文算法还与其他传统方法进行了比较，通过表2可以看出，本文提出的算法分割效果较为理想，精度较高。三维图像相比二维图像可以提供更多的空间信息，使用端到端的深度学习方法进行前列腺区域分割，能够为临床诊断提供更多的依据，从而有利于提高对前列腺相关疾病的精确诊断。

本文提出的网络模型相较传统V-Net的分割精度有所提高，但在某些方面仍然存在不足。例如，在分割后的三维结果中，可以看出本文算法分割结果与金标准相比仍存在边界不清晰的情况。这可能是由于使用深度学习的分割方法时，需要较多的图像数据，且训练样本的数量和质量都会在一定程度上影响网络的分割性能。另外，引入了软注意力模块后，会增加网络的计算量，易导致训练时间较长，对硬件要求较高等缺点。基于以上原因，本课题组计划在未来收集更多数据并优化算法结构以提升算法的性能。

3. 结论

本文提出了一种端到端的带有软注意力机制的改进V-Net的分割方法，一次性将前列腺MR图像整个输入，对其T2加权图像进行了分割。该方法使用FCN，将AG模块融入进V-Net网络的跳跃连接中，使网络更加关注与目标区域相关的区域，同时抑制其它不相关区域，从而提升网络的分割性能。同时本文还提出了使用短跳跃连接和小卷积核的CBRD块，与作为基线的V-Net相比，本文算法在分割前列腺区域方面更为准确。实验结果表明，改进后的V-Net分割网络DSC值和HD值分别可达到0.903和3.912 mm，优于其他网络。综上所述，本文算法能够准确地分割出前列腺的三维体积，对前列腺疾病的诊断和治疗有着重要意义。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：高铭远负责本文实验设计及论文撰写；闫士举、宋成利对论文修改提出建设性意见并审核；朱泽华指导实验设计及结果分析；解尔泽、方博雅负责实验环境的搭建及数据预处理。