基于深度学习的结直肠癌全视野数字病理切片分子分型识别研究

Abstract

Objective

To establish an artificial intelligence-assisted diagnosis system for molecular subtyping of colorectal cancer (CRC).

Methods

812 whole-slide images (WSIs) of 422 patients were selected from the database of The Cancer Genome Atlas (TCGA) and were put into the training set (75%) and the test set (25%). The slides were stored in the www.paiwsit.com database. We preprocessed and segmented the slides based on the labelling results of experienced pathologists to generate a training set of more than 4 million labeled samples. Finally, deep learning models were adopted for training.

Results

After training with several convolutional neural network models, we tested the performance of the trained deep learning model on the test set of 203 WSIs from 110 patients, and our model achieved an accuracy of 53.04% at patch-level and 51.72% at slide-level, while the accuracy of CMS2 (one of a consensus of four subtypes for CRC) at slide-level was as high as 75.00%.

Conclusion

This study is of great significance to the promotion of colorectal cancer screening and precision treatment.

结直肠癌（colorectal cancer, CRC）严重威胁着人类的健康，其发病率和死亡率呈现逐年上升的趋势^[1]。相对于不断改进的治疗方法，CRC患者并没有获得明显的生存效益，原因是肿瘤发生发展过程中复杂多变的遗传分子学机制导致的生物学高度异质性^[2]，这种高度异质性严重阻碍了结直肠癌靶向治疗的发展。对分子病理学的不断研究使人们对CRC的认识从具有不同临床结果的异质性疾病分类上升到特征性分子亚型分类，这一进步将促进实施个性化治疗并改善CRC患者的管理。早在2013年，BUDINSKA等^[3]病理学专家在对一组病例进行分子分类时，识别出一种或多种亚型优先富集的形态特征，从而显示出分子分型与组织病理之间的联系。

尽管一些研究进行了基因表达谱分析将结直肠癌分类为不同亚型^[4-5]，但结果显示亚型彼此之间几乎没有一致性，并且没有生成有用的单一分类。目前国际结直肠癌分型联盟利用网络生物学提出的基于基因表达的共识分子亚型（consensus molecular subtypes, CMS）分型^[6] 是最有影响力的分型系统。CRC的表型特征与其预后有直接联系，在临床上表型分型可能是CRC精准治疗的第一步^[7]。

病理报告是疾病诊断的“金标准”，对于病理切片的分析能够为病理诊断提供重要依据。高分辨率的全视野数字化病理切片（whole slide image, WSI）的出现为病理切片的定量分析奠定了坚实基础。数字化病理在现代临床实践中起着至关重要的作用，并日益成为实验室环境下的一项技术要求^[8]。早期用来辅助疾病诊断的“专家系统”通过医生经验来建立规则，然而其泛化能力严重依赖于医生的经验，难以满足临床需求。此外，由人工提取或构造的特征被用作传统机器学习分类框架的输入（如支持向量机或随机森林等用于影像分析），但其同样缺乏泛化能力。

近年来兴起的卷积神经网络（convolutional neural network, CNN）能够实现自动从输入数据中学习特征，通过多层特征提取将低层特征转换为高层特征，不仅克服了传统机器学习方法的局限性，还由于其出色的特征提取能力和泛化能力，通过权值共享、稀疏参数等方法降低了模型的复杂度，在目标检测^[9]、分割^[10]等图像处理任务中均取得重大成就，展示出巨大潜力。有研究显示，通过深度学习，为CRC分子亚型开发基于图像的生物标记物是可行的^[11]。COUDRAY等^[12]通过深度CNN（Inception v3）将基于图像的分析与分子表征相结合，帮助病理学家检测非小细胞肺癌的癌症亚型或基因突变。此外有研究^[13]描述了特定成像特征与元基因表达谱的关联，表明组织学切片可能包含足够的信息来预测CRC的CMS分子亚型。

基于深度学习，本研究使用病理学家高质量标注的结直肠癌WSI，开发了CRC分子亚型分类诊断系统。整套系统在测试集上表现性能基本能够满足CRC分子亚型甄别的需求。这套系统的普及，不仅能够减轻病理学家的工作负担，还有望促进对CRC组织病理学特征的精准识别和对CRC的精准治疗。

1. 材料与方法

1.1. 材料

本研究中的CRC病理切片数据集全部来自癌症基因组图谱（the cancer genome Atlas, TCGA, www.genome.gov）数据库，共包括422例CRC患者的812张切片，分为训练集（75%）和测试集（25%）；同一个病例的切片只能在训练集或测试集之一，以防止两个集合出现重叠。切片存入www.paiwsit.com存储系统中。其中微卫星不稳定性免疫型（CMS1）、经典型（CMS2）、代谢型（CMS3）和间充质型（CMS4）的数量分别为135、354、108和215。如表1所示，本研究随机抽取312例609张WSI作为训练样本，110例203张WSI作为测试样本。

表 1. Slice subtype distribution of training set and test set.

训练集与测试集中切片亚型分布

Set	CMS1	CMS2	CMS3	CMS4	Total
Training set	99	266	82	162	609
Test set	36	88	26	53	203
Total	135	354	108	215	812

样本的标注过程使用www.paiwsit.com中系统中的多功能标注工具，由苏州大学附属第一医院病理科的一位主治医师和一位主任医师根据基质浸润、淋巴结转移以及远处转移情况对812张CRC样本进行详细高质量标注，并由另一位主任医师审核。图1展示了4种CMS典型切片的标注结果。

图 1.

Typical labeling results of four subtypes of colorectal cancer. ×10

4种结直肠癌CMS亚型典型切片标注结果。 ×10

The tumor areas are highlighted with yellow lines.

1.2. 方法

本研究主要分为训练和测试两个步骤，如图2所示。首先使用核心共识样本的标签作为标准，利用ASAP软件对感兴趣的区域（region of interest, ROI）标注。在训练时，本研究对CRC数字病理切片ROI进行切割，得到有标签的子图（patch）并以坐标命名，再输入CNN模型进行训练；在测试时，测试WSI经重叠切割后，由模型一系列卷积、非线性激活、池化等推理输出相应结果，随后组合成全尺寸热图，经过对疑似分型的统计来判断当前切片是否为4种分型中的一种。

图 2.

Research framework of intelligent analysis model for molecular subtypes of colorectal cancer

结直肠癌分子亚型智能分析模型研究框架

1.2.1. 数据预处理

由于扫描的单张WSI尺寸过大（一般宽度超过10 000像素），经过压缩后文件大小平均达1 G^[14]，不能直接作为神经网络的输入；同时，单张WSI有效的组织区域仅占其总面积的30%～40%，去除无效区域将会节省大量的运行资源。因此，首先降采样获取WSI的缩略图，将图像颜色空间由RGB转化为HSV^[15]，保留S通道后二值化处理，经过填充处理得到有效区域。之后经过坐标转换，把非组织区域滤除。在提取patch过程中，以64像素的步幅对全尺寸WSI进行重叠采样，接受阈值为0.5，即子图中标注区域占50%以上，可得到尺寸为256像素×256像素的RGB三通道输入图像。经采样生成的CMS训练集样本数量可达到百万级别，由于结直肠癌CMS类之间数据不平衡，因此本研究采用水平垂直方向翻转进行训练集数据增强避免过拟合以及不平衡类问题，平衡后的数据如图3。

图 3.

Examples of training samples. ×200

训练图像示例。 ×200

A-D are the original training images of four subtypes of colorectal cancer (CMS1-4); E-H (CMS1-4) and I-L (CMS1-4) are the training images of four subtypes of colorectal cancer after data enhancement by horizontal and vertical flips.

1.2.2. 模型训练

本研究采用装有Nvidia Telsa V100 PCI-E图形处理单元（graphical processing units, GPUs）显卡的高性能服务器来训练模型，采用的深度学习框架为Keras^[16]和Pytorch^[17]。

为了探究不同模型对实验结果的影响，我们采取了不同的CNN分别进行训练，包括VGG16、VGG19+Dropout、VGG24+Dropout、VGG24+BN+Dropout、Inception v3、Resnet18、Resnet34以及Resnet50。各模型的训练策略如表2所示。

表 2. Training strategies of different convolutional neural networks for predicting molecular subtypes of colorectal cancer with whole slide images.

不同卷积神经网络预测结直肠癌病理切片分子亚型的训练策略

Model	Batch size	Epochs	Optimizer	Dropout
VGG16	128	10	adam
VGG19+Dropout	128	10	adadelta	0.3
VGG24+Dropout	128	10	adadelta	0.3
VGG24+BN+Dropout	32	10	adadelta	0.5
Inception v3	128	10	adam
Resnet18	64	10	adam
Resnet34	128	10	adam
Resnet50	128	10	adam

GoogleLeNet Inception v3^[18]模型将二维卷积层拆分为两个一维卷积层，可以降低参数个数和降低过拟合现象，在分类问题中取得良好的效果。对于本研究采用的Inception v3模型，其网络架构如表3所示。

表 3. The architectures of Inception v3.

Inception v3架构表

Layer	Kernel/stride	Input size
Conv	3×3/2	256×256×3
Conv	3× 3/1	149×149×32
Conv padded	3×3/1	147×147×32
pool	3×3/2	147×147×64
Conv	3×3/1	73×73×64
Conv	3×3/2	71×71×80
Conv	3×3/1	35×35×192
3×Inception	3×Inception	35×35×288
5×Inception	5×Inception	17×17×768
2×Inception	2×Inception	8×8×1 280
pool	8×8	8×8×2 048
linear	logits	1×1×2 048
softmax	classifier	1×1×4

针对全连接CNN或传统CNN由于梯度消失或梯度爆炸而导致无法训练很深层的网络这类问题，有研究者2016年提出了残差学习框架（ResNet）^[19]，可通过直接将输入信息传到输出，保护信息的完整性，减轻了深层网络训练的难度。ResNet同时实现了网络加深以及增强卷积模块功能。本研究使用的ResNet50模型网络架构如表4所示。在构建预测模型时，使用Dropout、L2正则化和批归一化来避免预测结果的过拟合。两种模型训练时均选择Adam优化方法降低训练集交叉熵损失函数值，使用ReLU激活函数，批大小为128，固定学习率为0.01，训练10轮，使用Dropout、正则化及批归一化等方法避免过拟合，通过adam或adadelta优化方法降低训练集交叉熵损失函数值，最终查看测试集的准确率表现。

表 4. The architectures of ResNet50.

ResNet50架构表

Layer name	Output size	50 layers
Conv1	112×112	7×7, 64, stride=2
		3×3 max pooling，stride=2
Conv2-x	56×56
Conv3-x	28×28
Conv4-x	14×14
Conv5-x	7×7
	1×1	Average pooling, four-dimensional connection, softmax

1.2.3. 模型评价

针对二分类问题，常用接收者操作特征（receiver operating characteristic, ROC）曲线评估模型的预测结果，而对于四分类问题，本研究分别计算某一类的精确率、召回率、F1-score作为最终的结果。对于ROC曲线，一般有两种方法：①对每一种分类作其ROC曲线，然后取平均作为最终ROC曲线，称为宏平均（macro-averaging）；② 不区分样本类别进行统计建立全局混淆矩阵，然后计算相应指标得到最终的ROC曲线，称为微平均（micro-averaging）。

准确率（accuracy, Acc），即被正确预测的patch数占总patch数的比例：

1

精确率（precision, Pre），即被预测为阳性的patch中实际为阳性的比例：

2

召回率（recall, Rec），即正确分为阳性的patch占所有真阳性的patch数的比例：

3

F1-score，即精确率和召回率的调和平均：

4

TP：真阳性；TN：真阴性；FP：假阳性；FN：假阴性。

1.2.4. 结果后处理

在预测过程中，首先对测试WSI进行重叠切割，得到256像素×256像素大小的patch，之后将每张patch输入训练好的模型进行预测，得到其对应各分子亚型的概率，最终经坐标拼接还原成相应热图，预测效果如图4 所示。

图 4.

Visualization of raw tumor image (left) and heat map (right)

原始的输入图像（左）和最终预测结果热力图（右）

A: CMS2 subtype, the left and right are the original image and the heat map (seagreen) respectively; B: CMS4 subtype, the left and right are the original image and the heat map (steelblue) respectively.

2. 结果

2.1. 子图级别的模型评价

与VGG16、VGG19+Dropout、VGG24+Dropout、VGG24+BN+Dropout、Resnet18和Resnet34相比，Inception v3和ResNet50所得结果对结直肠癌病理切片子图的预测性能更好，结果如表5所示。使用Inception v3模型进行全训练时，最终得到子图级别训练集和测试集的准确率分别为：0.87和0.53。对于ResNet50模型，最终得到子图级别训练集和测试集的准确率分别为：0.89和0.42。如图5所示，Resnet50模型的微平均和宏平均分别为0.62和0.55。其他模型的微平均和宏平均依次为0.58和0.50，0.61和0.59，0.61和0.58，0.61和0.57，0.60和0.56，0.58和0.50，0.58和0.52。

表 5. Prediction results of different convolutional neural networks on the patches of colorectal cancer.

不同卷积神经网络对结直肠癌的病理切片子图的预测结果

Model	Accuracy of training set	Accuracy of test set	Precision of test set	Recall of test set	F1-score of test set
VGG16	0.37	0.37	0.09	0.25	0.14
VGG19+ Dropout	0.64	0.41	0.38	0.39	0.39
VGG24+ Dropout	0.87	0.42	0.38	0.37	0.38
VGG24+BN+ Dropout	0.78	0.41	0.37	0.35	0.36
Inception v3	0.87	0.53	0.35	0.34	0.34
Resnet18	0.37	0.37	0.09	0.25	0.14
Resnet34	0.88	0.39	0.34	0.27	0.30
Resnet50	0.89	0.42	0.40	0.36	0.38

图 5.

CMS prediction results of ResNet50

ResNet50模型预测CMS分类结果

AUC: The area under the ROC curve

2.2. 切片级别的模型评价

对于切片级别模型的评价本研究选择准确率作为评价指标，计算准确率时认为切片子图中预测数量最多的分型即为此切片的分子分型。对于ResNet50，比较各样本的预测类别和标签，计算得到各个亚型的准确率，得到切片级别的总体准确率为51.72%，其中CMS2切片级准确率达到75.00%，结果如表6所示。对于Inception v3，经计算得到切片级别的总体准确率为51.00%。

表 6. Confusion matrix of ResNet50 for CMS.

ResNet50预测各CMS亚型结果的混淆矩阵

Prediction	Truth
	CMS1	CMS2	CMS3	CMS4
CMS1	12	15	2	7
CMS2	0	66	7	15
CMS3	1	15	4	6
CMS4	7	21	2	23

3. 讨论

考虑到大多数CRC在不同患者中是组织学异质，由于正常腺体、腺体增生到肠腺瘤是一个连续的形态学谱系，并且相同的癌症亚型在不同阶段可能具有不同的病理特征，这导致更大的类内外观变化，必然会为标注和模型的学习过程带来挑战，使得总体预测准确率不太理想，但在测试集上表现的性能基本能够满足CRC分子亚型甄别的需求。

本研究使用422例CRC患者的812张TCGA结直肠癌切片，利用CNN经典模型VGG、Inception v3和Resnet及其变体，进行训练及测试，如表5所示，Resnet50综合评价指标优于本研究的其他模型。此外，由表6 的混淆矩阵可以看出，4种分型偏向于被预测为CMS2和CMS4，说明CMS2和CMS4的特征较CMS1和CMS3容易区分。由于是四分类任务，所得到的各个亚型分类的准确率还有待提升，离真正的临床应用除了需要继续提高识别率，还需要进一步扩大数据集，利用所建模型预测CRC其他来源的病理切片分子分型，以证明模型的鲁棒性。此外，通过更改模型或者增加后处理等方法，使得模型结果进一步优化。

TCGA数据来源广泛，质量不一，存在切片不完整、切片挤压、刀痕裂痕明显等，导致噪声增加；同时，标注区域内包含部分正常区域，非癌性区域子图会导致参数学习的偏差。本研究将分割所得的子图全部用来做训练集以及测试集，相反，为了提高乳腺癌病理切片子图多分类准确率，GOLATKAR等^[20]不使用从图像中提取的所有子图，只选择保留那些具有高核密度的子图并丢弃在其大部分区域内充满基质（具有稀疏定位的核）的子图，子图分类准确率达到79%，高于之前66.7%的基准。

在数字病理学中，人工智能方法已经应用于各种图像处理和分类任务，一些低级任务主要包括检测^[9]、分割^[10]等目标识别问题，以及基于图像^[21-22]中的模式预测疾病诊断和治疗反应的预后等高级任务。对于这些高级别应用，则需要性能更加优异的算法模型、海量优质的病例数据及更精确的标注甚至对结果有可解释性。机器对于CRC分子亚型的诊断，如果能够将假阴性降低到病理专家水平，那么它就能减轻基因测序的医疗负担，不仅能帮助病理医生完成初筛工作，还能从海量数据中归纳总结出目前尚未发现的规律，最终患者也会得到更精准的诊治。数字病理和人工智能的完美结合将有助于推进未来的精准肿瘤学，最终为患者提供个性化的治疗。

*　　　　*　　　　*

利益冲突 　所有作者均声明不存在利益冲突

Funding Statement

国家自然科学基金（No. 81902969、No. 81874331）和双一流创新团队（No. CPU2018GY19）资助