Abstract
在全切片中分割不同组织对胰腺癌的诊疗十分重要，但目前面临内容复杂、样本偏少、样本异质性高等挑战。本文研究了胰腺癌病理切片八种类别的组织分割，通过引入注意力机制并设计分层共享的多任务结构，利用相关辅助任务显著提升模型性能。本文模型在上海长海医院的数据集上进行训练与测试，并在TCGA公开数据集上进行外部验证，在内部测试集上F1分数均高于0.97，在外部验证集上F1分数均高于0.92，且泛化性能显著优于基线方法。实验表明，本文模型可准确分割胰腺癌全切片图像中的不同组织，为临床诊断提供可靠依据。
Keywords: 多任务学习, 全切片图像, 注意力机制, 胰腺肿瘤, 组织分割
Abstract
Accurate segmentation of whole slide images is of great significance for the diagnosis of pancreatic cancer. However, developing an automatic model is challenging due to the complex content, limited samples, and high sample heterogeneity of pathological images. This paper presented a multi-tissue segmentation model for whole slide images of pancreatic cancer. We introduced an attention mechanism in building blocks, and designed a multi-task learning framework as well as proper auxiliary tasks to enhance model performance. The model was trained and tested with the pancreatic cancer pathological image dataset from Shanghai Changhai Hospital. And the data of TCGA, as an external independent validation cohort, was used for external validation. The F1 scores of the model exceeded 0.97 and 0.92 in the internal dataset and external dataset, respectively. Moreover, the generalization performance was also better than the baseline method significantly. These results demonstrate that the proposed model can accurately segment eight kinds of tissue regions in whole slide images of pancreatic cancer, which can provide reliable basis for clinical diagnosis.
Keywords: Multi-task learning, Whole slide image, Attention mechanism, Pancreatic cancer, Tissue segmentation
0. 引言
胰腺癌是消化道常见的恶性肿瘤之一，确诊后的五年生存率不超过10%[1]。提高患者生存率的一个关键环节是准确预测患者的预后风险，以便设计针对性的治疗方案。组织病理是肿瘤科的常规检查，可在微观层面解析肿瘤特性，是评估肿瘤进展风险的重要方法[2]。尽管如此，由于切片尺寸极大、组织成分复杂，评估结果容易受主观因素影响[3-4]。随着人工智能技术的发展，病理切片经过扫描设备数字化后，可借助人工智能算法进行快速的自动分割工作[5-8]，帮助病理专家提高阅片效率，为后续定量定性分析提供支持。
在胰腺癌方面，Fu等[9]使用Inception V3网络对胰腺癌全切片图像（whole slide image，WSI）的肿瘤和间质进行分割并分别取得0.952 5和0.954 2的F1分数；Janssen等[10]使用以DenseNet161为编码器的U-nets网络对新辅助化疗后的胰腺癌WSI的残余肿瘤区域进行分割并取得0.86的F1平均得分。然而，目前研究多关注癌灶、间质等简单成分，未能充分考虑到胰腺癌的嗜神经性、冷免疫等特性，限制了对肿瘤微环境的充分解析[11]。因此，构建一种准确的胰腺癌WSI多组织分割模型，对胰腺癌的研究、诊断和治疗具有重要意义。
目前对胰腺癌WSI的多种组织分割存在以下难点：① 胰腺癌病理图像数据较少，并且标注工作费时费力，对医生的经验要求高，具备可用标记的样本数据则更为稀少[12-13]，在样本较为有限的情况下，如何在跨中心数据集上确保模型的准确率和鲁棒性仍有待解决；② 由于切片制备过程中人工染色的误差和扫描设备的不同，来自不同医疗机构甚至来自同一医疗机构的不同批次数据都存在差异，对模型的泛用性提出挑战[14-16]；③ 胰腺癌病理图像因其组织结构特性，背景较为复杂，组织间含较多空洞，易对分割模型的学习造成干扰。针对这些难点，已有研究多采用数据增广、数据标准化以及多分辨率方法[17-19]，尽管有所改善，但在训练数据较为有限时仍无法取得良好效果。多任务学习是解决上述问题的另一个有效途径[20]，它可以利用其他任务的数据辅助目标任务的训练，增大模型可学习样本空间，从而获得更好的性能。Zhang等[21]构建的3D多注意力引导的多任务学习网络便是通过同时进行胃癌分割和淋巴结分类来提高模型在各自任务上的表现，但目前这一方法在胰腺癌组织病理图像分割任务中的应用非常少见。
针对上述胰腺癌WSI多组织分割的难点，本文提出基于多任务和注意力的胰腺癌WSI多组织分割模型，通过设计分层共享的网络结构以引入WSI的另一分辨率数据和结直肠癌数据作为辅助任务，提高模型在原始任务上的准确率和泛化能力，并缓解数据样本较少带来的过拟合问题。同时受Woo等[22]提出的注意力机制的启发，在多任务共享的主干网络中引入空间注意力机制，使模型更加关注重要的位置信息，缓解病理图像的复杂背景和胰腺组织间空洞对模型学习带来的影响。
1. 本文方法
1.1. 整体流程
本文的目标是建立可识别胰腺癌中多种组织成分的深度模型，并利用其获取完整全切片的识别结果，为此需要兼顾精度与速度。本文通过预实验对比10倍、20倍和40倍分辨率下基准模型的分割性能，得到类别平均F1分数分别为0.906、0.927和0.924，并综合考虑运行速度，最终选取20倍作为基准分辨率。胰腺癌WSI的组织分割流程如图1蓝色虚线框所示。为了处理百亿像素的全扫描切片，本文在20倍分辨率下，以滑窗的方式裁取小图像块依次进行预测。为了减少冗余计算，在推理阶段使用2 560 × 2 560像素的输入图像块与2 386像素的有交叠滑窗，每次可获得74 × 74像素的组织标签图，将滑窗结果依次拼接，即可获取全切片的分割结果。
图 1.
Segmentation process and network structure
分割流程与网络结构图
1.2. 网络结构
本文模型结构如图1红色虚线框所示，包含共用的主干网络部分和多任务的输出部分。主干网络采用Tan等[23]提出的EfficientNet-b0的编码结构，其核心组件为引入挤压和激励（squeeze-and-excitation，SE）模块的移动翻转瓶颈卷积（mobile inverted bottleneck convolution，ＭBConv）[24]，通过堆叠MBConv实现对输入图像特征的提取，该模型的设计兼顾了性能与推理速度。
网络的输出部分使用分层共享的设计理念，针对主任务和两个辅助任务分别设计了三条输出通路，任务间的相关性越高，它们共享的网络参数便越多。每条输出通路的计算流程相同，均由两组“1 × 1卷积－BatchNorm－激活”及中间的平均池化，以及最后额外的1 × 1卷积构成。为了兼容不同输入图像尺寸，本文设计平均池化部分的结构如图1绿色框所示。在训练阶段使用全局平均池化，针对输入尺寸非224 × 224像素的图像块，通过全局平均池化将输入特征图的尺寸统一降为1 × 1维，使模型可适配不同的输入尺寸；在测试阶段使用核尺寸为7 × 7的平均池化，通过前述的大尺寸策略减少冗余运算，提升推理速度。
1.3. 改进的MBConv
MBConv是EfficientNet的核心组成部分，其结构如图2所示，计算流程如下：首先通过一个1 × 1卷积对输入特征进行升维，然后进行深度可分离卷积并送入SE模块，最后通过一个1 × 1卷积进行降维。
图 2.
Flow chart of improved MBConv
改进的MBConv框图
SE模块的结构如图2中蓝色虚线框所示，首先对H × W × C维的输入特征进行自适应平均池化，得到1 × 1 × C维特征，然后通过1 × 1卷积进行降维并激活，再通过1 × 1卷积使其恢复到 1 × 1 × C 维并激活，模块最终输出为该向量与输入特征的乘积。SE模块作为通道注意力机制，可使网络自适应学习各通道信息的重要性，并通过加权调整它们对结果的作用。但MBConv也存在缺陷，即忽视了空间位置信息与任务目标的联系，这对胰腺病理图像这类背景复杂且组织间多空洞的图像分类是不利的。因此本文对MBConv进行改进，使网络同时反映通道信息和空间位置信息之间重要性的差异。
改进后的MBConv如图2所示，本文在SE模块支路的左侧并联空间注意力机制（spatical attention，SA）模块，其结构如图2中红色虚线框所示。SA模块学习输入特征的空间位置与任务目标的相关性，并通过加权调整它们对结果的作用，计算流程如下：首先通过两个1 × 1的卷积对 H × W × C维的输入特征进行压缩，得到集成全局信息的 H × W × 1维矩阵，然后通过Sigmoid函数激活得到位置权重矩阵，最后通过相乘的方式，根据位置权重矩阵对输入特征进行重标定得到加权特征图。SA模块使网络以较低的计算成本，自动关注对任务更重要的空间位置信息，抑制背景信息的干扰。两个模块的输出结果最终进行相加融合，获得输入特征与任务目标的全局依赖关系。改进后的MBConv可使网络自动识别图像中需要关注的位置和通道信息，提高网络对重要信息的提取能力，改善最终的分类结果。
1.4. 辅助任务的设计
本文的目标任务是在胰腺癌WSI的20倍分辨率下对肿瘤、肿瘤间质、血管、神经、淋巴细胞、正常腺泡、脂肪、背景共八种组织进行分类。针对训练数据较为有限的问题，本文设计了两类辅助任务以提升模型的分类性能。其中辅助任务1设置为10倍分辨率下对同样八种组织进行分类，该任务的数据与主任务提取自相同的切片，任务目标与主任务一致，与主任务共享更多的网络参数。辅助任务1可使网络学习不同组织在其他尺度下的特征，来自不同尺度的信息可以有效提高模型的性能[13]。辅助任务2设置为在结直肠癌WSI的20倍分辨率下对血管、上皮、间质、免疫细胞、肌肉、脂肪、坏死、背景共八种组织进行分类。由于人体不同器官的同种组织在图像领域拥有相似的特征，辅助任务2允许模型学习到有利于目标任务的表示，同时该任务的输出通路与主任务相对独立，可进一步降低对主任务的学习过程产生有害影响的可能性[20]。此外，该任务与主任务的数据来源不同，任务目标也存在一定差异，所以它们的局部最优解处于不同位置，通过两个任务之间的相互作用可以帮助模型逃离局部最优解，获得更好的性能。
1.5. 损失函数
本文损失函数L包含3部分，分别为主任务的损失Lmain、辅助任务1的损失Laux1、辅助任务2的损失Laux2。通过对每个任务进行单独验证，可发现Lmain、Laux1、Laux2的量级一致，因此本文损失函数L定义为各任务损失的加权求和，其中主任务损失的权重最高，设为1，辅助任务损失的权重依据其与主任务的相关性高低决定，通过少量迭代轮次的实验，当训练损失趋于稳定后，记录其在测试集上的表现，通过对比最终决定采用0.7和0.4的参数，计算公式为
 |
1 |
针对数据集存在的各组织样本不均衡的情况，本文使用类平衡Focal损失作为各任务的损失函数，有效缓解因每个类别样本数量不匹配造成的过拟合问题[25]，并通过减少易分类样本的权重，使模型在训练时更专注于难分类的样本[26]，计算公式如下
 |
2 |
式中，
为平衡类之间相对损失的超参数，ny表示类别为 
的训练样本数量，C为类的总数，z为模型对所有类的预测输出，
表示真实标记的预测概率，
是调节简单样本权重降低速率的参数，本文默认设为2。
2. 实验及结果分析
2.1. 实验数据
本文主任务和辅助任务1的数据来自上海长海医院采集的25例胰腺癌患者的WSI，每个病例由病理医生选取一张具有代表性的切片，共计25张，其中20张作为模型的训练集，余下5张作为模型的测试集。本文所有WSI均通过伦理审查委员会同意，并获得授权可以使用。每例患者的WSI都包含肿瘤、肿瘤间质、血管、神经、淋巴细胞、正常腺泡、脂肪、背景共8种组织区域的标记，由经验丰富的病理科医生手动勾画。每张WSI均包含六种不同分辨率的扫描图像，主任务的数据集在20倍分辨率下提取，提取流程如图3所示。在标记所处的矩形区域内，以112的步长通过滑窗的方式取出224 × 224像素的图像块，并计算其与标记区域的重叠面积，若重叠面积小于或等于85%（图3中蓝色图像块）则舍弃，若重叠面积大于85%（图3中红色图像块）则保留，最后总计提取各类组织的图像块555 119张，其中训练集489 322张，测试集70 992张。辅助任务1的数据集在相同切片的10倍分辨率下提取，流程与主任务相同，总计提取图像块99 169张，均用于训练。辅助任务2的数据来自结直肠癌的WSI，包含血管、上皮、间质、免疫细胞、肌肉、脂肪、坏死、背景共8种组织区域的标记，由病理科医生手动勾画，提取流程与主任务相同，最后总计提取图像块600 593张，均用于辅助任务2的训练。各任务数据集的具体情况如表1所示。
图 3.
Flow chart of dataset extraction
数据集提取流程图
表 1. Illustration of experimental datasets.
实验数据集说明
| 组织类型 | 主任务（胰腺癌20倍） | 辅助任务1（胰腺癌10倍） | 组织类型 | 辅助任务2（结直肠癌20倍） | |||
| 训练集 | 测试集 | 训练集 | 训练集 | ||||
| 肿瘤 | 82 877 | 10 069 | 13 942 | 上皮 | 78 440 | ||
| 肿瘤间质 | 83 941 | 11 895 | 13 533 | 间质 | 78 178 | ||
| 血管 | 24 042 | 10 318 | 6 054 | 血管 | 71 201 | ||
| 神经 | 59 538 | 3 190 | 10 741 | 肌肉 | 83 629 | ||
| 淋巴细胞 | 23 392 | 7 025 | 3 472 | 免疫细胞 | 70 671 | ||
| 正常腺泡 | 85 043 | 9 723 | 19 639 | 坏死 | 73 619 | ||
| 脂肪 | 49 703 | 9 009 | 17 301 | 脂肪 | 70 865 | ||
| 背景 | 80 786 | 9 763 | 14 487 | 背景 | 73 990 | ||
| 总计 | 489 322 | 70 992 | 99 169 | 总计 | 600 593 | ||
2.2. 实验环境及设置
实验环境为Ubuntu 16.04操作系统，内存为128 GB，显卡为GeForce RTX 2 080Ti，CPU为E5-2 630。本文网络基于PyTorch实现，最大迭代轮数设为200，由于不同任务的样本数不一致，每轮训练中以主任务的样本数为基准，辅助任务1和辅助任务2分别通过循环采样和随机采样的方式使其样本数与主任务保持一致。使用Adam优化器进行权重更新，每个任务的批大小设为40，初始学习率设为0.01，学习率调整策略使用ReduceLROnPlateau，当迭代两轮模型损失仍未下降时，学习率调整为原来的一半。
2.3. 评估指标
本文的分割问题本质上是基于图像块的分类问题，因此使用F1分数进行性能评估，计算方法如下：
① 每类的精确率P、查全率R和F1分数
 |
3 |
 |
4 |
 |
5 |
式中，
、
、
分别表示第i类的精确率、查全率、F1分数，
、
、
分别表示第i类的真阳性样本数（true positive，TP）、假阳性样本数（false positive，FP）、假阴性样本数（false negative，FN）。
② micro-F1分数。先计算整体的TP、FP和FN，再计算F1分数
 |
6 |
 |
7 |
 |
8 |
式中，N为类别数，micro-P、micro-R、micro-F1分别为micro规则下的精确率、查全率和F1分数。
③ macro-F1分数。分别计算每个类别的F1分数，然后取平均值
 |
9 |
 |
10 |
 |
11 |
式中，N为类别数，macro-P、macro-R、macro-F1分别为macro规则下的精确率、查全率和F1分数。
2.4. 实验结果与分析
2.4.1. 主干网络
将本文模型的主干网络EfficientNet-b0与主流的图像分类网络进行对比，具体对比网络如下：He等[27]提出的深度残差神经网络ResNet、Xie等[28]提出的应用聚合残差变换的ResNext、Huang等[29]提出的密集卷积神经网络DenseNet以及Radosavovic等[30]提出的着眼于新的网络设计范式的RegNet。对比试验结果如表2所示。可以看出，EfficientNet-b0取得了最优的macro-F1分数和次优的micro-F1分数，并且单张WSI的平均预测时间最少，这得益于EfficientNet很好地平衡了网络深度、网络宽度和分辨率，兼顾性能与推理速度，并通过深度可分离卷积等操作最优地提升模型的整体性能。与EfficientNet-b0相比，RegNetY-3.2GF仅在单一指标上具备微弱优势，余下指标均排在末尾，且平均预测时间与EfficientNet-b0相差两分钟以上，差距较大。综合来看，EfficientNet-b0是模型主干网络的最优选。
表 2. Performance comparison of different Backbone Networks.
不同主干网络的性能比较
| 网络 | micro-F1 | macro-F1 | 单张WSI平均预测时间t/s |
| 注：加粗字体表示最优值，下划线表示次优值 | |||
| ResNet101 | 0.914 | 0.908 | 659.354 |
| ResNext101 | 0.930 | 0.924 | 692.258 |
| DenseNet121 | 0.934 | 0.925 | 550.143 |
| RegNetY-3.2GF | 0.941 | 0.921 | 665.094 |
| EfficientNet-b0 | 0.936 | 0.927 | 538.389 |
2.4.2. 空间注意力机制
为验证SA模块对模型性能的影响，本节将引入SA模块的EfficientNet-b0网络（EfficientNet+SA）与未引入SA模块的网络（EfficientNet）进行对比试验，实验结果如表3所示。在加入SA模块后，EfficientNet+SA的micro-F1分数和macro-F1分数相比原始网络分别提高了1.9%和2.5%，模型整体性能获得提升。
表 3. Effect of attention mechanism on EfficientNet.
注意力机制对模型性能的影响
| 方法 | micro-F1 | macro-P | macro-R | macro-F1 |
| 注：加粗字体表示最优值；micro-P和micro-R的值与micro-F1相同 | ||||
| EfficientNet | 0.936 | 0.924 | 0.931 | 0.927 |
| EfficientNet + SA | 0.954 | 0.949 | 0.953 | 0.950 |
图4展示了SA模块对各类组织的分类性能的影响，相比原始网络，EfficientNet+SA对神经、血管、淋巴细胞等区域的分割结果更为准确，这些区域通常面积较小，分布零散，容易被邻近的其他组织影响。SA模块让模型更加关注重要的空间位置信息，减少背景、组织间空洞等无关信息的干扰，从而增强了模型对组织的识别能力。综合来看，EfficientNet + SA的性能要高于不加SA模块的EfficientNet。
图 4.
Effect of attention mechanism on tissue classification
注意力机制对组织分类性能的影响
2.4.3. 辅助任务的选择
辅助任务的选择是一个开放性问题，不恰当的辅助任务甚至可能降低模型的性能，因此本节探讨了两种辅助任务对模型性能的影响，实验结果如表4所示。其中，基线模型EfficientNet_SA表示引入SA模块的EfficientNet-b0，EfficientNet_SA + AT1表示在基线模型的基础上引入辅助任务1（auxiliary task1，AT1），EfficientNet_SA + AT2表示在基线模型的基础上引入辅助任务2（auxiliary task2，AT2），EfficientNet_SA + ALL表示在基线模型的基础上同时引入两个辅助任务。由表4可知，引入AT1、AT2，以及同时引入AT1和AT2，micro-F1分数与marco-F1分数都有所提升（分别为1.9%、1.6%、3.0%与1.8%、1.4%、2.8%），且同时引入AT1与AT2时效果最好。
表 4. Effect of auxiliary tasks on EfficientNet_SA.
辅助任务对模型性能的影响
| 方法 | micro-F1 | macro-P | macro-R | macro-F1 |
| 注：加粗字体表示最优值；micro-P和micro-R的值与micro-F1相同 | ||||
| EfficientNet_SA | 0.954 | 0.949 | 0.953 | 0.950 |
| EfficientNet_SA + AT1 | 0.972 | 0.965 | 0.970 | 0.967 |
| EfficientNet_SA + AT2 | 0.969 | 0.962 | 0.965 | 0.963 |
| EfficientNet_SA + ALL | 0.983 | 0.976 | 0.982 | 0.977 |
图5展示了辅助任务对组织分类性能的影响。当引入AT1时，模型对肿瘤、神经和正常腺泡的识别能力提升较为明显，这得益于AT1允许模型学习组织在不同尺度下的特征，更大范围的图像包含更加丰富的组织形态、结构和上下文信息，这些信息可提高网络对组织的区分能力。当引入AT2时，模型在血管、肿瘤间质和神经的识别方面要优于AT1，这是由于AT2让模型学到不同器官中的同种组织所共有的表征以及更一般性的特征，例如胰腺和结直肠中都包含的血管、间质等组织。当两个辅助任务同时被引入时，模型对各类组织的识别能力达到最优，均高于使用单一辅助任务的模型。
图 5.
Effect of auxiliary tasks on tissue classification
辅助任务对组织分类性能的影响
2.4.4. TCGA数据集外部验证
为进一步验证本文方法的有效性，分别在本文构建的测试集和癌症基因组图谱（the cancer genome atlas，TCGA）的胰腺癌病理图像公开数据集（网址：https://portal.gdc.cancer.gov/）上将本文模型与EfficientNet-b0和EfficientNet_SA进行内部比较。TCGA收录了包括胰腺癌病理图像数据在内的各种人类癌症的临床数据，本文从中选取10张切片并由长海医院经验丰富的病理科医生手动勾画标记，得到各组织的图像块共计59 464张。TCGA作为外部独立的验证队列，可有效验证各网络在外部数据集上的泛化能力和准确率。同时，本文也进一步对比了目前常用于医学图像分割任务的外部网络，包括：ResNet、ResNext、DenseNet和RegNet，实验结果如表5所示。本文模型几乎在所有评估指标中都取得了最好的成绩。与取得次优值的EfficientNet_SA相比，本文模型在测试集的micro-F1、macro-F1以及TCGA数据集的micro-F1、macro-F1分别提升了3.0%、2.8%、10.9%和10.6%，与EfficientNet-b0及其他外部网络相比，提升则更为明显，多任务网络相比单任务网络的优越性得到体现。虽然本文模型在单张WSI上的平均预测时间与最优值相差2.898 s，但相比性能上的巨大提升，这一微小差距可以接受。此外，为了评估模型的泛化性能，本文定义了平均性能损失，即在外部测试集（TCGA）上，相比于内部测试集上两类F1指标下降的平均幅度。通过对比各网络的表现，可以发现本文网络在独立验证队列上的性能指标下降幅度最小，micro-F1分数和macro-F1分数分别下降5.7%和5.6%，平均性能损失仅为5.7%，其他网络的平均性能损失均超过10%。由此可以看出，本文网络对不同扫描设备和染色程度的WSI的容忍度更高，鲁棒性更强。
表 5. Experimental result comparison of different networks.
各网络实验结果对比
| 网络 | 本文测试集 | TCGA数据集 | 平均性能损失 | 单张WSI平均预测时间/s | |||
| micro-F1 | macro-F1 | micro-F1 | macro-F1 | ||||
| 注：加粗字体表示最优值，下划线表示次优值 | |||||||
| ResNet101 | 0.914 | 0.908 | 0.651 | 0.635 | 29.4% | 659.354 | |
| ResNext101 | 0.930 | 0.924 | 0.677 | 0.674 | 27.1% | 692.258 | |
| DenseNet121 | 0.934 | 0.925 | 0.787 | 0.786 | 15.4% | 550.143 | |
| RegNetY-3.2GF | 0.941 | 0.921 | 0.658 | 0.644 | 30.1% | 665.094 | |
| EfficientNet-b0 | 0.936 | 0.927 | 0.778 | 0.779 | 16.4% | 538.389 | |
| EfficientNet_SA | 0.954 | 0.950 | 0.836 | 0.834 | 12.3% | 541.869 | |
| 本文网络 | 0.983 | 0.977 | 0.927 | 0.922 | 5.7% | 541.287 | |
图6展示了本文模型、EfficientNet_SA和EfficientNet-b0对独立的胰腺癌WSI中八种组织的定性分割结果，进一步验证了前文的结论。从图中可以看出，EfficientNet_SA的分割效果要显著优于EfficientNet-b0，但相比本文模型，其在肿瘤、肿瘤间质、血管、神经等组织上的表现较差。本文模型在八种组织的分割精度方面均取得了最优的结果，这得益于空间注意力机制的引入以及辅助任务对模型学习的约束和补充。总体而言，本文模型在八种组织的分割精度方面取得了较好的成绩，并在外部数据上展现了更好的泛用性。
图 6.
Segmentation results of whole slide image
全切片图像的分割结果
3. 结论
本文提出的用于胰腺癌WSI多种组织分割的模型，以EfficientNet-b0为主干网络，引入空间注意力机制改进其核心组件MBConv，提高模型对复杂背景和组织间空洞的抗干扰能力，同时构建分层共享的多任务结构，通过精心设计的辅助任务将WSI的另一分辨率数据和结直肠癌数据纳入模型的学习样本空间，促使模型在训练过程中获取更丰富和更一般性的特征。实验结果表明，本文模型在有限的目标任务数据的基础上，利用相关辅助任务的大量监督数据，实现准确的胰腺癌WSI多种组织分割，相比目前常用于组织病理图像分割的网络，本文模型在准确率和泛化性上有明显优势，在外部数据上依然保持了良好的性能，具有非常高的实际应用价值。
然而，这项研究也存在局限性：① 使模型工作在20倍分辨率下，仍需要付出昂贵的计算成本，未来的一种可行策略是采用一种多分辨率预测的方法，只有在更低的放大倍数下被识别为可疑的位置才会在20倍下进行验证。② 辅助任务2使用的结直肠癌WSI数据仍然是一种较难获取的数据，另一种可行思路是利用易获取的自然图像数据辅助医学图像分割任务，但目前尚没有统一的方法和标准来判断哪些自然图像数据能够提高医学图像分割和分类任务的性能，后续工作将针对上述局限性开展进一步的研究。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：高威：设计实验，编写代码，分析数据，撰写文章;蒋慧：收集数据，给予医学专业相关的帮助;焦一平：指导实验，对文章的知识性内容作批评型审阅;王向学：指导实验，对文章的知识性内容作批评型审阅;徐军：指导实验，对文章的知识性内容作批评型审阅，获取研究经费。
伦理声明：本研究通过了中国人民解放军海军军医大学医学研究伦理委员会的审批（批文编号：82003107）。
Funding Statement
国家自然科学基金（U1809205，62171230，62101365，61771249，82003107）
The National Natural Science Foundation of China
References
- 1.Hu J X, Zhao C F, Chen W B, et al Pancreatic cancer: A review of epidemiology, trend, and risk factors. World J Gastroenterol. 2021;27(27):4298–4321. doi: 10.3748/wjg.v27.i27.4298. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 2.Xu Y, Jia Z, Wang L B, et al Large scale tissue histopathology image classification, segmentation, and visualization via deep convolutional activation features. BMC Bioinf. 2017;18(1):1–17. doi: 10.1186/s12859-016-1414-x. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 3.Yan R, Ren F, Wang Z, et al Breast cancer histopathological image classification using a hybrid deep neural network. Methods. 2020;173:52–60. doi: 10.1016/j.ymeth.2019.06.014. [DOI] [PubMed] [Google Scholar]
- 4.Elmore J G, Longton G M, Carney P A, et al Diagnostic concordance among pathologists interpreting breast biopsy specimens. JAMA. 2015;313(11):1122–1132. doi: 10.1001/jama.2015.1405. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 5.Campanella G, Hanna M G, Geneslaw L, et al Clinical-grade computational pathology using weakly supervised deep learning on whole slide images. Nat Med. 2019;25(8):1301–1309. doi: 10.1038/s41591-019-0508-1. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 6.Xing F, Xie Y, Su H, et al Deep learning in microscopy image analysis: A survey. IEEE Trans Neural Netw Learn Syst. 2017;29(10):4550–4568. doi: 10.1109/TNNLS.2017.2766168. [DOI] [PubMed] [Google Scholar]
- 7.支佩佩, 邓健志, 钟震霄 基于卷积和注意力机制的医学细胞核图像分割网络. 生物医学工程学杂志. 2022;39(4):730–739. doi: 10.7507/1001-5515.202112013. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 8.Wang X, Chen Y, Gao Y, et al Predicting gastric cancer outcome from resected lymph node histopathology images using deep learning. Nat Commun. 2021;12(1):1–13. doi: 10.1038/s41467-020-20314-w. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 9.Fu H, Mi W M, Pan B J, et al Automatic pancreatic ductal adenocarcinoma detection in whole slide images using deep convolutional neural networks. Front Oncol. 2021;11:665929. doi: 10.3389/fonc.2021.665929. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 10.Janssen B V, Theijse R, van Roessel S, et al Artificial intelligence-based segmentation of residual tumor in histopathology of pancreatic cancer after neoadjuvant treatment. Cancers. 2021;13(20):5089. doi: 10.3390/cancers13205089. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 11.Huang X, Ding L, Liu X, et al Regulation of tumor microenvironment for pancreatic cancer therapy. Biomaterials. 2021;270:120680. doi: 10.1016/j.biomaterials.2021.120680. [DOI] [PubMed] [Google Scholar]
- 12.金旭, 文可, 吕国锋, 等 深度学习在组织病理学中的应用综述. 中国图像图形学报. 2020;25(10):1982–1993. [Google Scholar]
- 13.Sirinukunwattana K, Alham N K, Verrill C, et al Improving whole slide segmentation through visual context—a systematic study// International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: MICCAI Society. 2018:192–200. [Google Scholar]
- 14.Zhang R Making convolutional networks shift-invariant again// International Conference on Machine Learning. Long Beach: IMLS. 2019:7324–7334. [Google Scholar]
- 15.Azulay A, Weiss Y Why do deep convolutional networks generalize so poorly to small image transformations? J Mach Learn Res. 2018;20(184):1–25. [Google Scholar]
- 16.Mikołajczyk A, Grochowski M Data augmentation for improving deep learning in image classification problem// 2018 International Interdisciplinary PhD Workshop (IIPhDW) Świnoujście: IEEE. 2018:117–122. [Google Scholar]
- 17.张墺琦, 亢宇鑫, 武卓越, 等 基于多尺度特征和注意力机制的肝脏组织病理图像语义分割网络. 模式识别与人工智能. 2021;34(4):375–384. [Google Scholar]
- 18.Zhao B, Han C, Pan X, et al RestainNet: a self-supervised digital re-stainer for stain normalization. Comput Electr Eng. 2022;103:108304. doi: 10.1016/j.compeleceng.2022.108304. [DOI] [Google Scholar]
- 19.Xu Z. Computational models for automated histopathological assessment of colorectal liver metastasis progression. London: Queen Mary University of London, 2019.
- 20.Ruder S An overview of multi-task learning in deep neural networks. arXiv preprint arXiv. 2017:1706.05098. [Google Scholar]
- 21.Zhang Y, Li H, Du J, et al 3D multi-attention guided multi-task learning network for automatic gastric tumor segmentation and lymph node classification. IEEE Trans Med Imaging. 2021;40(6):1618–1631. doi: 10.1109/TMI.2021.3062902. [DOI] [PubMed] [Google Scholar]
- 22.Woo S, Park J, Lee J Y, et al CBAM: Convolutional block attention module// Proceedings of the European Conference on Computer Vision (ECCV) Munich: ECCV. 2018:3–19. [Google Scholar]
- 23.Tan M, Le Q Efficientnet: Rethinking model scaling for convolutional neural networks// International Conference on Machine Learning. Long Beach: IMLS. 2019:6105–6114. [Google Scholar]
- 24.Hu J, Shen L, Sun G Squeeze-and-excitation networks// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE. 2018:7132–7141. [Google Scholar]
- 25.Cui Y, Jia M, Lin T Y, et al Classbalanced loss based on effective number of samples// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE. 2019:9268–9277. [Google Scholar]
- 26.Lin T Y, Goyal P, Girshick R, et al Focal loss for dense object detection// Proceedings of the IEEE International Conference on Computer Vision. Hawaii: IEEE. 2017:2980–2988. [Google Scholar]
- 27.He K, Zhang X, Ren S, et al Deep residual learning for image recognition// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE. 2016:770–778. [Google Scholar]
- 28.Xie S, Girshick R, Dollár P, et al Aggregated residual transformations for deep neural networks// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii: IEEE. 2017:1492–1500. [Google Scholar]
- 29.Huang G, Liu Z, Van Der Maaten L, et al Densely connected convolutional networks// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii: IEEE. 2017:4700–4708. [Google Scholar]
- 30.Radosavovic I, Kosaraju R P, Girshick R, et al Designing network design spaces// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE. 2020:10428–10436. [Google Scholar]