基于多尺度、多路注意力融合机制的多模态高等级脑胶质瘤语义分割网络

Abstract

Glioma is a primary brain tumor with high incidence rate. High-grade gliomas (HGG) are those with the highest degree of malignancy and the lowest degree of survival. Surgical resection and postoperative adjuvant chemoradiotherapy are often used in clinical treatment, so accurate segmentation of tumor-related areas is of great significance for the treatment of patients. In order to improve the segmentation accuracy of HGG, this paper proposes a multi-modal glioma semantic segmentation network with multi-scale feature extraction and multi-attention fusion mechanism. The main contributions are, (1) Multi-scale residual structures were used to extract features from multi-modal gliomas magnetic resonance imaging (MRI); (2) Two types of attention modules were used for features aggregating in channel and spatial; (3) In order to improve the segmentation performance of the whole network, the branch classifier was constructed using ensemble learning strategy to adjust and correct the classification results of the backbone classifier. The experimental results showed that the Dice coefficient values of the proposed segmentation method in this article were 0.909 7, 0.877 3 and 0.839 6 for whole tumor, tumor core and enhanced tumor respectively, and the segmentation results had good boundary continuity in the three-dimensional direction. Therefore, the proposed semantic segmentation network has good segmentation performance for high-grade gliomas lesions.

引言

根据世界卫生组织2016年对脑胶质瘤的划分，脑胶质瘤被分为Ⅰ至Ⅳ，共四级。级别越高，预后相对越差。其中Ⅰ级和Ⅱ级为低级别胶质瘤（low-grade gliomas，LGG）。Ⅰ级通常是良性的，主要是毛细胞星形细胞瘤，早期及时治疗可以治愈。Ⅱ级为一般性星形细胞瘤或星形细胞瘤少突胶质瘤，预后相对较好。Ⅲ级和Ⅳ级胶质瘤属于高等级胶质瘤（high-grade gliomas，HGG）。Ⅲ级为间质星形细胞瘤，一般由二级演变而来。平均存活时间2 ~ 3年。Ⅳ级为胶质母细胞瘤，预后差^[1-2]。目前临床常采用手术切除和术后辅助放化疗的方式治疗脑胶质瘤^[3]。因此，在放化疗中准确定位HGG病灶区域，对制定治疗方案具有重要意义。

近年来，基于卷积神经网络（convolutional neural network，CNN）的深度学习方法在脑胶质瘤分割中得到了广泛的研究和应用，尤其是基于编码-解码结构的语义分割网络^[4]，其分割效果较传统算法具有更出色的性能^[5]。Feng等^[6]提出了一种基于U型网络集成的脑胶质瘤分割方法。通过单独训练每个模型并对结果进行集成来减少每个模型的随机误差，结果表明与单个模型相比，集成模型在分割性能上有一定的改进，但对简单网络的集成所带来的分割性能提升比较有限，而且训练多个模型并集成也繁琐耗时。Wang等^[7]提出了一种级联式的脑胶质瘤分割方法，将前级网络的分割结果送入下级网络，下级网络负责将对应的次级脑胶质瘤区域进行分割，这种级联网络方法对肿瘤子结构分层式的目标物分割表现出较好的性能，但在级联结构中，上级模型对上级目标物的分割错误将会导致下级模型对次级目标物的分割产生更多的错误。因此，需要一种更好的解决方案对多级子区的脑胶质瘤进行分割。

本文使用医学图像计算和计算机辅助干预协会举办的脑胶质瘤分割挑战赛（Brain Tumor Segmentation，BraTS，https://www.med.upenn.edu/sbia/brats2018.html）提供的210例多模态HGG扫描数据，设计更高效的特征提取模块构成并训练语义分割网络，以提高HGG的自动化分割精度。

1. 方法

1.1. 数据预处理

研究中，首先对脑胶质瘤分割挑战赛公开数据集进行获取和预处理。数据集共包含210例HGG和75例LGG磁共振扫描数据。每例扫描数据都包含四种神经影像模态，分别为Flair、T1ce、T1和T2，以神经影像信息学技术倡议（Neuroimaging Informatics Technology Initiative，NifTI）文件格式保存。所有影像数据都由经验丰富的神经科专家手工分割并给出标注。标注共包含3类感兴趣区，“1”表示坏死和非增强的肿瘤核，“2”表示癌周水肿，“4”表示增强肿瘤，其余区域标注为“0”。其中全肿瘤区域为所有肿瘤子区的结合（坏死和非增强的肿瘤核、癌周水肿和增强肿瘤），肿瘤核心区为坏死和非增强的肿瘤核与增强肿瘤的结合。另外，数据集中数据还进行了配准后插值到相同分辨率，并剥去头骨^[8]。

由于LGG和HGG在特征分布上存在一定差异，所以用LGG数据和HGG数据一起训练往往会限制分割模型的学习能力^[9]，因此本研究仅使用数据集中210例HGG数据，设计针对HGG的分割算法。

为了缓解背景像素类与肿瘤像素类之间的不平衡性，在数据预处理过程中，首先对每例扫描病例进行抛片处理，即在横断面切片方向上，从每例155张图像切片中保留切片序列55 ~ 130的切片，舍弃部分不包含肿瘤的图像切片。然后对三类目标物的标签图像也进行抛片处理。最后将四种模态图像作为四个通道信息写入图像数据文件并进行标准化处理。输入网络数据为“切片 × 通道 × 图像宽 × 图像高”的四维结构，图像数据的通道维度存放多模态数据，标签数据的通道维度存放不同目标物的标注，图像宽和高都为240。从预处理后的210例数据中随机选择155例作为训练集，剩余55例作为验证集。多模态数据能够给网络提供丰富的图像特征，因此没有对数据进行数据增强操作。

1.2. 网络结构

针对HGG结构复杂的特点，本研究在编码-解码结构的基础上，采用多尺度特征提取和多路注意力结构融合机制，并应用集成学习策略提出一种全新的编码、解码语义分割网络结构，用于肿瘤及其子区分割。

1.2.1. 多尺度特征提取

通常CNN通过固定的卷积核大小提取图像特征，固定的核使得网络在固定的感受野下提取图像特征，当遇到目标物尺寸较大时，往往会由于卷积视野太小而将大目标错分为多个小目标；当遇到尺寸较小的目标物时，又会由于视野太大而造成目标物丢失并被错判为背景^[10]。为此，本文采用多尺度特征提取结构对肿瘤区域进行特征提取并融合，利用多个感受野下的像素信息，提升网络像素分类能力^[11]。此外，对于每一个多尺度特征提取结构采用残差连接^[12]，不仅可以缓解网络加深带来的梯度消失问题，而且不会带来额外的参数和计算复杂度开销。具体网络结构如图1所示。多尺度残差模块包括1 × 1卷积层、3 × 3卷积层、5 × 5卷积层、3 × 3最大池化层、批归一化层、线性整流函数（linear rectification function，ReLU）激活层、特征拼接融合层、特征相加融合层。本模块可以将输入分为多个不同尺度的卷积支路进行特征提取，然后将四路特征图进行通道维度的拼接融合，进一步对多尺度输出进行残差连接，从而提升网络中卷积核的感受野对胶质瘤不同大小子区的适应度。

图 1.

Multi-scale feature residual module

多尺度特征残差模块

1.2.2. 多路注意力融合

在对输入图像进行特征提取时，CNN将提取的特征以激活值特征图的形式体现在输出中，最终应用于目标物识别^[13]。有研究者提出将“注意力”机制^[14-15]应用于CNN中，通过对特征图和特征图内的值进行激活值加权，从而提升输出特征图中重要特征与一般特征的区分程度，提高网络对目标物的定位识别能力。本研究结合使用多路注意力模块^[16]，对不同维度中的多模态信息进行汇聚、加权，从而突出表达肿瘤相关特征并抑制无关特征。

通道注意力模块用于在通道维度对特征图信息进行汇聚，其结构如图2所示。其中包括全局平均池化层、全局最大池化层、批归一化层、全连接层、ReLU激活层、相加融合层、Sigmoid激活层、重构层、元素相乘层，具体实现功能包括对输入特征图使用两路全局池化进行像素特征值压缩，全局平均池化突出特征值中的低频信息，全局最大池化突出特征值中的高频信息。为了减少网络参数和计算量，对全局池化后的特征图进行一次维度压缩、激活、维度扩展操作，然后将两路特征图进行融合后激活，得到通道维度下的注意力特征图，最后通过恒等映射将注意力特征图与输入特征图进行点乘，完成通道维度特征的注意力加权汇聚，突出显著的通道维度特征，同时抑制相关性较差的特征表达。

图 2.

Channel attention module

通道注意力模块

C、H、W分别表示特征图通道、高度和宽度，r表示维度压缩比

C, H and W denote channel, height and width of feature map, respectively, and r denotes dimension compression ratio

除了对通道维度特征进行注意力汇聚以外，本研究进一步将通道注意力模块的输出特征通过跳跃连接结构与解码器对应层的特征进行空间注意力汇聚。空间注意力模块结构如图3所示，包括2 × 2卷积层、1 × 1卷积层、3 × 3反卷积层、相加融合层、ReLU激活层、Sigmoid激活层、上采样层、元素相乘层、批归一化层。空间注意力模块的具体操作是先将通道注意力模块的输出特征与解码器相应层的特征进行融合，再将通道注意力汇聚信息引入解码路径中，之后对融合后的特征图进行激活，得到空间维度下的注意力特征图，最后同样通过恒等映射将空间注意力特征图与模块的输入特征，即通道注意力模块的输出进行点乘，完成多路不同维度下特征的注意力融合，使网络提升特征利用效率，提高脑胶质瘤相关像素的识别预测能力。

图 3.

Spatial attention module

空间注意力模块

1.2.3. 集成学习策略

使用集成学习策略^[17]，在网络中的每层解码器输出端使用1 × 1卷积构建一路分支分类器，将主干分类器和分支分类器的输出结果进行融合，达到改进网络预测结果的目的。网络整体结构如图4所示。其中的维度调整模块使用1 × 1卷积对特征输出维度进行调整，使各个功能模块的特征图能够进行拼接、融合等操作。

图 4.

Network structure diagram

网络结构图

1.3. 模型训练

实验所用的硬件配置为英伟达RTX2070显卡，显存大小为8 GB。在python3.5环境下使用Tensorflow2.0作为主要算法开发工具。

将训练集与验证集送入网络进行离线训练，根据经验设置初始学习率为0.000 1，并设置最大epoch轮次为100，使用回调函数设置训练早停，当模型经过20个epoch后没有获得验证集上的损失值下降时就停止训练，保存已获得的性能最佳模型，在本文实验过程中，模型都在训练到最大epoch之前收敛并早停。使用二分类Dice系数作为模型性能评价指标，Dice系数是一种用于衡量两个集合元素相似度的函数，常被用于医学图像分割性能评价，通过计算真值与预测值图像中目标物像素的重叠率反映模型的分割性能，取值范围为0到1的闭区间，1为完全重叠，0为完全不重叠。其计算公式如式(1)所示，其中G代表标签像素值，P代表预测像素值。使用Dice损失函数（Loss）作为模型损失函数，其计算公式如式(2)所示。为了获取更好的模型文件，在模型训练中设置回调函数，用于对基础学习率进行衰减并根据验证集损失函数值变化情况判断训练结束条件，保存性能最佳的模型。

1

2

2. 结果

为了更全面地评价模型的性能，对验证集55例HGG数据不做抛片处理，保留其全部155张切片作为测试集测试模型的分割性能。同时，我们在同样的数据条件下，训练了一个UNet作为基线网络与文中的改进网络进行性能比较。首先，使用模型对测试集中全体素进行分割，将分割结果与测试集标签全像素进行一次计算，得到模型关于测试集全体素在全肿瘤区、肿瘤核心区和增强肿瘤区的Dice指标，本文结果与其他研究方法的比较如表1^[6,18-20]所示。

表 1. Performance comparison of brain tumor segmentation methods (whole voxels).

脑肿瘤分割方法性能对比（全像素）

方法	训练数据集	测试数据集	Dice
			全肿瘤	肿瘤核心	增强肿瘤
Cui等[18]	BraTS2015训练集	BraTS2015测试集中的HGG数据	0.90	0.81	0.81
Feng等[6]	210例HGG+75例LGG（BraTS2018）	BraTS2018验证集（66例）	0.911 4	0.830 4	0.794 6
Sun等[19]	210例HGG+75例LGG+数据增强（BraTS2018）	BraTS2018验证集（66例)	0.904 4	0.849 4	0.805 2
Myronenko[20]	210例HGG+75例LGG（BraTS2018）	BraTS2018验证集（66例）	0.910 0	0.866 8	0.823 3
基线网络（UNet）	210例HGG中的155例（BraTS2018）	210例HGG中剩余55例（BraTS2018）	0.907 9	0.842 9	0.828 2
本研究方法	210例HGG中的155例（BraTS2018）	210例HGG中剩余55例（BraTS2018）	0.909 7	0.877 3	0.839 6

在临床诊断中，通常以病例为单位对病情进行判断和评价。因此，我们进一步对测试集中所有个例数据进行了单独评价，得到测试集中每个单独病例在三类肿瘤目标物上的Dice指标，然后计算由个例评价指标组成的总体的平均值和标准差，与同样测试了个例结果的方法进行了对比，如表2^[7]所示。

表 2. Performance comparison of brain tumor segmentation methods (case evaluation).

脑肿瘤分割方法性能对比（个例评价）

方法	训练数据集	测试数据集	Dice（均值 ± 标准差）
			全肿瘤	肿瘤核心	增强肿瘤
3D UNet[7]	210例HGG + 75例LGG + 数据增强（BraTS2018）	BraTS2018验证集（66例）	0.873 ± 0.125	0.783 ± 0.168	0.754 ± 0.263
Wang等[7]	210例HGG + 75例LGG + 数据增强（BraTS2018）	BraTS2018验证集（66例）	0.908 ± 0.054	0.869 ± 0.126	0.807 ± 0.225
本研究方法	210例HGG中的155例（BraTS2018）	210例HGG中剩余55例（BraTS2018）	0.902 ± 0.066	0.823 ± 0.203	0.818 ± 0.133

我们对三类目标物分割结果进行了融合，并从横断面、矢状面、冠状面三个方向进行展示。图5为测试集中一例数据的分割结果。

图 5.

Comparison of segmentation results and golden standards

分割结果与金标准对比图

全肿瘤类包括绿色、红色和蓝色标注的结合，肿瘤核心类为红色和蓝色标注的结合，增强肿瘤类为蓝色标注

the whole tumor category is the combination of green, red and blue labels, the core tumor category is the combination of red and blue labels, and the enhanced tumor category is the blue label

与基线UNet之间的分割结果展示如图6所示。UNet的参数量达到355 MB，本文网络的参数量仅为39 MB，本文模型更为高效。

图 6.

Comparison of segmentation results for baseline

分割结果与基线UNet对比图

全肿瘤类包括绿色、红色和蓝色标注的结合，肿瘤核心类为红色和蓝色标注的结合，增强肿瘤类为蓝色标注

the whole tumor category is the combination of green, red and blue labels, the core tumor category is the combination of red and blue labels, and the enhanced tumor category is the blue label

3. 讨论

本文提出的基于多尺度特征提取、多路注意力融合的级联网络结构，适合于多模态下多通道的图像特征提取，能够提升网络对不同维度中特征的信息利用率。其主要优点是：① 使用多尺度残差模块对多模态图像中不同形状大小的肿瘤区域在感受野范围更广的条件下进行特征提取并融合，提升肿瘤核心区和增强肿瘤区等小目标物的分割精度。② 对不同维度中的特征都进行注意力加权汇聚，使具有更强表现力的特征能更多地影响输出预测值，提升网络对肿瘤的识别能力，进而提高分割精度。③ 使用集成学习策略构建支路分类器对主干分类器的分类结果进行调整修正，提升整体网络的分割性能。④ 在网络结构中使用1×1卷积对该层输出进行降维，减少参数量和计算量。本文所得网络模型参数量小于40 MB，体量轻，便于部署使用，并且本文分割结果在三维空间具有平滑的边界，二维模型可以达到和三维模型基本相当的分割效果。除了对测试集个例进行平均值和标准差的评价外，我们在实验中也统计了Dice值中位数，发现模型对全肿瘤区、肿瘤核心区和增强肿瘤区这三类目标物的测试Dice值中位数分别为0.929 8、0.894 4和0.860 3，均高于个例评价中三类目标物的Dice平均值（见表2）。

当然，通过模型测试也发现一些分割失败的实例。其中分割效果最差的个例，Dice值仅为0.59、0.08和0.32（全肿瘤区、肿瘤核心区和增强肿瘤区）。仔细检查这一例，发现该病例图像在Flair模态下肿瘤核心区对比度减弱，而在T2模态下肿瘤核心区像素值与一般病例在此区域的像素值差别较大，从而导致模型难以识别。另外，存在部分个例在全肿瘤区分割中表现较好，但在肿瘤核心区和增强肿瘤区的分割中表现远低于平均水平。进一步研究发现，此类病例其肿瘤核心区和增强肿瘤区体积较小，在深度CNN提取图像特征的过程中，网络会对特征图进行层层降维，提取深层次、抽象的特征，而深层特征对小目标物表达并不显著，随着网络结构的加深，在浅层网络中有更好表达的小目标物特征必然会受到影响，这是深度CNN的固有缺陷^[21]。本文网络通过多尺度的特征提取结合多路注意力机制以及集成学习策略的使用在一定程度上缓解了这一问题。但为了保持整体精度的稳定，会有部分体积过小的目标物存在欠分割现象。

虽然本文提出的自动分割方法在HGG的分割中展现出了优秀的性能，但研究中还存在一些值得我们关注的问题。首先，构建深度语义网络模型是一种“黑盒”^[22]，缺乏可解释性。深度学习模型在结构上是几十个层中数以千万计的神经元输出的组合，具体的分割过程没有通用明确的函数表示，同时参数化的模型并不能给出函数实际蕴涵的意义。鉴于此特点，在讲究循证的医学研究和应用领域，临床医生会对自动分割方法给出的结果存在疑虑^[23-24]。对深度模型进行可视化有助于我们理解深度学习模型的黑箱是根据哪些原则来进行分割的。未来研究中，可以通过加权梯度类激活映射，将语义信息反向传播，对最后一层卷积层求梯度，产生大致的加权梯度类激活图，凸显出图像中对目标分割重要的区域，对网络分割结果进行可视化解释^[25]。其次，研究中使用的多模态数据来源于脑胶质瘤分割挑战赛，实际临床的图像采集参数可能和挑战赛中数据存在不同，在临床使用中往往需要基于迁移学习来训练新模型。但语义网络需要放射科医师对新训练集的每个像素都进行人工标注，是非常耗时耗力的。这里可以采用标注框弱监督的方式进行网络训练，从而降低标注成本。最后，我们将全肿瘤区、肿瘤核心区和增强肿瘤区作为三个独立任务进行训练，然后再合并结果。然而，独立的模型训练忽略了不同肿瘤类别之间所包含的丰富关联信息。如果把多个相关的、具有共享表示的不同肿瘤类别分割任务放在一起进行多任务学习，多个任务之间可以共享互补的数据特征，则能取得更好的泛化效果。

4. 结论

本文基于多尺度特征提取、多路注意力融合机制和集成学习策略结合，构建全新的多模态高等级脑胶质瘤语义分割网络，通过功能模块的添加，提升网络对多模态图像多个维度中相关信息的利用率，网络模型在55例测试数据集上对全肿瘤区、肿瘤核心区和增强肿瘤区三类目标物的Dice值分别为0.909 7、0.877 3和0.839 6。进一步对测试集数据在横断面、矢状面、冠状面三维方向进行分割展示，模型分割结果在三维空间具有平滑的边界，且模型参数量小易于部署使用。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：吴玉超负责实验设计、数据收集、数据分析、论文写作；林岚负责实验设计、数据分析、论文写作；吴水才负责论文审核。

Funding Statement

国家自然科学基金（81971683）；北京市自然科学基金-海淀原始创新联合基金（L182010）

The National Natural Science Foundation of China