Abstract
经医学研究发现，肿瘤突变负荷（TMB）与非小细胞肺癌（NSCLC）免疫治疗的疗效呈正相关，并且TMB值对靶向治疗和化疗的疗效也有一定的预测作用。然而，计算TMB值需要借助全外显子组测序（WES）技术，成本较高。对此，本文利用临床常用的数字病理组织切片图像，研究TMB与切片图像之间的关联关系，并据此预测患者的TMB水平。本文提出了一种基于残差坐标注意力（RCA）结构并融合多尺度注意力引导（MSAG）模块的深度学习模型（RCA-MSAG）。该模型以50层残差网络（ResNet-50）为基准模型，并将坐标注意力(CA)融入到瓶颈（bottleneck）模块，用来捕获方向感知和位置敏感信息，从而使模型能够更准确定位和识别感兴趣的位置。然后，通过在网络内添加MSAG模块，使模型可以提取肺癌病理组织切片的深层特征以及通道之间的交互信息。本文实验数据集采用癌症基因组图谱（TCGA）公开数据集，数据集由200张肺腺癌病理组织切片组成，其中高TMB值的数据80张，中TMB值的数据77张，低TMB值的数据43张。实验结果表明，所提模型的准确率、精确率、召回率和F1分数分别为96.2%、96.4%、96.2%和96.3%，并且上述指标均优于当前主流深度学习模型。本文所提模型或可促进临床辅助诊断，对TMB预测具有一定的理论指导意义。
Keywords: 非小细胞肺癌, 肿瘤突变负荷, 残差网络, 多尺度注意力
Abstract
Medical studies have found that tumor mutation burden (TMB) is positively correlated with the efficacy of immunotherapy for non-small cell lung cancer (NSCLC), and TMB value can be used to predict the efficacy of targeted therapy and chemotherapy. However, the calculation of TMB value mainly depends on the whole exon sequencing (WES) technology, which usually costs too much time and expenses. To deal with above problem, this paper studies the correlation between TMB and slice images by taking advantage of digital pathological slices commonly used in clinic and then predicts the patient TMB level accordingly. This paper proposes a deep learning model (RCA-MSAG) based on residual coordinate attention (RCA) structure and combined with multi-scale attention guidance (MSAG) module. The model takes ResNet-50 as the basic model and integrates coordinate attention (CA) into bottleneck module to capture the direction-aware and position-sensitive information, which makes the model able to locate and identify the interesting positions more accurately. And then, MSAG module is embedded into the network, which makes the model able to extract the deep features of lung cancer pathological sections and the interactive information between channels. The cancer genome map (TCGA) open dataset is adopted in the experiment, which consists of 200 pathological sections of lung adenocarcinoma, including 80 data samples with high TMB value, 77 data samples with medium TMB value and 43 data samples with low TMB value. Experimental results demonstrate that the accuracy, precision, recall and F1 score of the proposed model are 96.2%, 96.4%, 96.2% and 96.3%, respectively, which are superior to the existing mainstream deep learning models. The model proposed in this paper can promote clinical auxiliary diagnosis and has certain theoretical guiding significance for TMB prediction.
Keywords: Non-small cell lung cancer, Tumor mutation burden, Residual network, Multi-scale attention
0. 引言
肺癌是人类癌症致死相关的主要疾病之一，其发病率约占全部恶性肿瘤的19%[1]。全世界每年的新增肺癌病例大约是120万例，在患恶性肿瘤的男性患者中肺癌的死亡率最高，在女性中仅次于乳腺癌[2]。而在所有肺癌病例中，约有85%的患者被诊断为非小细胞肺癌（non-small cell lung cancer，NSCLC），并且约75%的患者发现时已处于中晚期，5年内存活率很低。由于NSCLC的种类和分期不同，临床上难以确定针对特定患者的最适治疗方案[3]。
近年来，针对晚期NSCLC的治疗，经历了化疗、靶向治疗和免疫治疗等方式的变革，很大程度上提高了晚期NSCLC患者的生存率。例如，免疫检查点抑制剂（immune checkpoint inhibitors，ICPIs）改善了NSCLC传统的治疗模式，已成为多种NSCLC的主要治疗方法之一。但需要指出的是，免疫治疗并非适用于所有NSCLC患者，研究表明体细胞突变数目高的患者对免疫治疗更为敏感，治疗效果也更好[4]。因此，寻找一种新的对免疫治疗更敏感的预测因子尤为重要。
肿瘤突变负荷（tumor mutation burden，TMB）是一种估量肿瘤突变数目的重要指标，定义为外显子编码区每兆DNA碱基的突变数量。临床数据表明，TMB和ICPIs疗效之间具有关联性，是因为基因突变诱导了新抗原的产生，增加了肿瘤的免疫原性，使得肿瘤对ICPIs治疗有了更积极的反应[5]。目前，主要采用新一代全外显子组测序（whole exome sequencing，WES）方法来计算TMB值，但WES检测耗时长、成本高，难以在临床治疗中推广应用，因此亟需开发一种更为高效且成本较低的新方法来计算TMB值。在癌症诊疗过程中广泛应用的全视野数字切片（whole slide image，WSI）技术，可为TMB值的估计提供新的思路。例如，Coudray等[6]采用深度学习方法，通过分析WSI特征，成功对NSCLC进行了准确分类，并能够预测肺腺癌患者是否存在常见基因突变的情况。由此可见，深度学习在医学领域有很大的应用潜力，而WSI能够反映癌症基因组变化。因此，本文将在WSI上通过使用深度学习技术来预测TMB值。
目前，对于医学影像处理的研究工作主要经历了三个阶段。第一阶段是基于机器学习的预测方法，该类方法通常采用人工标注的图像，在经过特征选取后，使用机器学习方法进行分类。例如， Christopher等[7]使用机器学习中的朴素贝叶斯（naive Bayes，NB）、贝叶斯网络（Bayesian network）、J48决策树等方法实现了对肺癌的准确分类。但该类方法依赖于人工标注图像，如果人工标注的标签不够准确，则取得的效果也会较差。第二阶段是使用卷积神经网络来对医学影像进行分类，但由于医学影像领域缺少标注完善的大规模数据集，从而导致卷积神经网络在医学影像领域并未取得很好的效果。第三阶段是采用迁移学习的方法来对深度学习模型进行微调，通过将深度学习模型在其他领域的大型数据集或不同医学数据集上进行训练，利用训练好的模型参数来微调自己的模型。例如，Deniz等[8]使用迁移学习和卷积神经网络方法对乳腺癌进行分类预测，实验结果表明使用迁移学习对现有模型进行微调取得了更好效果。
近年来，迁移学习在医学领域得到了广泛应用，特别是在对TMB值的预测上取得了较好效果。例如，孙德伟等[9]通过在深度神经网络——第三代启发式网络（Inception）系列模型（InceptionV3）上增加了通道注意力和空间注意力模块，提高了模型的特征提取能力，实验结果表明，该方法的曲线下面积（area under the curve，AUC）值达到了0.82。刘邓等[10]使用残差网络（residual network，ResNet）作为骨干网络，结合了多尺度特征注意力和多尺度信息融合模块，提高了模型对肺癌数字病理组织切片深层特征的提取能力。实验结果表明，该方法的AUC值提升到了0.883。需要指出的是，上述方法仅将TMB值划分为高和低两类，使得在临床上很难准确判断患者是否适用于免疫治疗。并且，上述方法在提取WSI深层次特征信息上缺少对通道之间细微信息的关注，使得分类效果并不理想。
针对以上问题，本文采用残差坐标注意力（residual coordinate attention，RCA）结构和多尺度注意力引导（multi-scale attention guidance，MSAG）模块，构建了一个用于肺癌TMB值三分类预测的深度ResNet模型（RCA-MSAG）。本文的主要贡献如下：
（1）在数据处理阶段，进一步细化了TMB值的类别，将TMB值划分为高、中和低三个水平，这种更细致的划分方式可更好地反映患者对于免疫治疗的敏感程度，从而为治疗方案选择提供更为准确的依据。
（2）设计了RCA结构并将其替换ResNet原本的瓶颈（bottleneck）结构，在不增加过多计算量的前提下，提高了模型捕获方向感知和位置敏感信息的能力。
（3）在特征提取阶段，设计了一个MSAG模块，加强了模型提取深层次特征和通道之间交互信息的能力，进而提高了模型的总体性能。
1. 数据和方法
1.1. 数据来源
本文使用的数据来自癌症基因组图谱（the cancer genome atlas，TCGA），该数据库是2006年由美国国家癌症研究所和美国国家人类基因组研究所联合启动建立的项目，收集了各种类型（包括亚型）的人类癌症临床数据，为公开数据库。本文实验使用的基因组信息和WSI图像数据来源于TCGA数据库下的肺腺癌（lung adenocarcinoma，LUAD）数据集（TCGA-LUAD）。每个WSI的TMB值通过TCGA数据库提供的简单核苷酸变异数据计算得出，然后根据TMB值的计算结果将WSI数据集划分为高TMB组、中TMB组和低TMB组。划分依据是：TMB值≥10.0突变数/Mb，定义为高TMB； TMB值<1.1突变数/Mb，定义为低TMB；两者中间部分定义为中TMB[11]。
实验采用TCGA-LUAD数据集中200名测试患者的WSI，按上述方式分为高TMB组、中TMB组和低TMB组，每组内WSI的TMB标签是相同的（即，高TMB、中TMB或低TMB）。由于每张WSI的尺寸非常庞大，为了便于计算机处理，先将其划分成大小为224 × 224的小切片，属于同一张WSI的小切片的TMB标签与其对应WSI的TMB标签相同。数据集中共有200张WSI，其中高TMB的80张，中TMB的77张，低TMB的43张。按照尺寸（224 × 224）进行裁剪，得到高TMB小切片110 267张，中TMB小切片132 375张，低TMB小切片68 910张。
1.2. 方法
1.2.1. 数字病理图像切分
WSI的像素数量可达上亿，一张肺腺癌WSI的像素可达到26 001 × 21 911个像素。由于计算机内存的限制，无法直接将整张WSI送入深度学习模型进行训练，因此需要对WSI进行切分。为了在切分过程中不丢失太多细微信息，首先将WSI按照相同比例放大20倍，然后采用无重叠滑动窗口的方式将病理图像切分为若干大小为224 × 224的小切片。数字病理图像的切分过程如图1所示。
图 1.
Example of the WSI segmentation
WSI切分示意
1.2.2. 数据增强
医学影像领域通常出现由于数据集不平衡或数据集太小导致深度学习模型无法充分训练，从而影响模型分类效果的问题。对此，本文采用数据增强技术先对数据集进行处理。数据增强，是通过对训练集进行中心裁剪、翻转、噪声添加等处理，提高数据集的平衡性和多样性，从而提高模型的泛化能力。根据WSI数据集的具体情况，本文采用三种数据增强方法：随机中心裁剪、随机水平或垂直翻转、图像旋转。数据增强效果如图2所示。
图 2.
Data augmentation effect
数据增强效果
1.2.3. RCA结构
坐标注意力（coordinate attention，CA）是一种新兴的注意力机制，它能够将位置信息嵌入到通道注意力中，使得网络不仅能够关注通道之间的关系，还能关注特征的空间位置信息，从而使提取到的信息更加全面[12]。RCA结构是在残差结构中加入CA，从而帮助模型更精准地定位感兴趣的位置，同时还能够避免增加过多的计算开销[13]，如图3所示。当输入特征图送入RCA时，先依次经过三个卷积层提取初始特征，然后为了避免二维全局池化导致的位置信息丢失问题，将二维全局池化分解为垂直方向和水平方向的一维平均池化（AvgPool）。输入的特征矩阵形状为C × H × W，其分解获得的两个不同尺寸的特征矩阵为C × H × 1、C × 1 × W。两个一维AvgPool将水平方向和垂直方向的特征分别聚合为两个独立的方向感知特征图，然后将水平方向和垂直方向的方向感知特征图拼接起来，通过1 × 1的卷积运算后送入非线性激活函数进行处理。上述处理的计算方法如式(1)～式(3)所示：
图 3.
The RCA structure
RCA结构
 |
1 |
 |
2 |
 |
3 |
式中，W表示特征矩阵的宽，H表示特征矩阵的高，Xc(h, i)表示特征图第c个通道第h行第i列的元素，Xc(j, w)表示特征图第c个通道第j行第w列的元素，Zch为水平方向带有坐标感知信息的特征，Zcw为垂直方向带有坐标感知信息的特征，[,]表示拼接函数，F表示卷积运算，δ表示线性整流函数（rectified linear unit，ReLU），f表示融合了水平方向和垂直方向位置信息的特征图[14-15]。
随后，将式(3)输出的f进行批归一化（batch normalization，BN）处理，接着将f沿着水平方向和垂直方向拆分（Split）为两个单独的特征图，分别是形为C × H × 1的f h和形为C × 1 × W的f w。在此基础上，将两个注意力特征图分别通过卷积运算后送入ReLU激活函数，最后将得到的结果与原始输入的特征矩阵相乘融合。上述处理的计算方法如式(4)～式(6)所示：
 |
4 |
 |
5 |
 |
6 |
式中，Fh和Fw分别表示对f h和f w在水平方向和垂直方向上的卷积运算，ω表示ReLU激活函数。gh和gw为输出的水平方向和垂直方向上的注意力权重，X(i, j)表示输入特征图中的像素点，Z为经过注意力运算后的输出特征图。
1.2.4. MSAG模块
卷积神经网络由于受限于卷积核的尺寸，仅能获得病理图像的局部单一特征信息。为了获得更加丰富的特征信息，Simonyan等[16]提出的视觉几何组（visual geometry group，VGG）和Szegedy等[17]提出的InceptionV3，使用了更大尺寸的卷积核，或是融合多个不同尺寸的卷积核。此外，还可以在网络中加入注意力机制使模型感兴趣的部分获得更大的权重。例如，Hu等[18]设计了一种通道注意力，通过探索通道之间特征的相互依赖关系来提高网络的表示能力。本文提出的MSAG模块结合了上述方法的优点并做出改进，在通道注意力基础上加入了空间注意力，空间注意力可以忽略图像中的非重点区域，更加关注在任务中贡献较大的区域[19]。MSAG结构如图4所示。
图 4.
The MSAG structure
MSAG结构
当输入特征图送到引导模块后，首先对其进行尺寸为1 × 1、3 × 3和5 × 5的深度可分离卷积（depthwise separable convolution，DSC）运算，用来提取WSI切片在不同感受野下的信息特征[20]。然后，将经过DSC处理得到的三种不同感受野下的特征信息，通过拼接运算进行特征融合，得到一个通道数是原来三倍的特征图，然后再使用尺寸为1 × 1的普通卷积将特征图压缩还原。之后，将得到的特征图送入通道注意力中进行通道维度的特征提取。通道注意力计算方法如式(7)所示：
 |
7 |
式中，F为输入特征图（其尺寸为C×H×W），AvgPool表示对通道维度上的特征做全局平均池化，最大池化（MaxPool）表示对通道维度上的特征做全局最大池化，σ表示S型生长曲线（sigmoid）函数，多层感知机（multi-layer perceptron，MLP）表示对输入特征图进行线性运算。W0和W1是MLP的权重矩阵，Favgc和Fmaxc分别表示通道维度上的特征经过AvgPool和MaxPool运算后得到的特征图，MC是输入特征经通道注意力运算后得到的权重向量。将经过通道注意力处理后的特征图送入空间注意力模块中进行运算，空间注意力的计算方法如式(8)所示：
 |
8 |
式中，X为输入特征图（其尺寸为C×H×W），Conv表示进行卷积运算，Favgs和Fmaxs分别表示空间维度上的特征经过AvgPool和MaxPool运算后得到的特征图，MS表示经空间注意力后得到的特征图矩阵。
最后，将空间注意力输出的特征矩阵与原始特征图进行残差融合，这样经过多种尺度的特征提取与融合，使得模型充分提取了不同感受野下的特征信息，从而增强了模型的特征提取能力。
1.2.5. 模型构建
RCA-MSAG深度学习模型将ResNet的bottleneck结构替换为RCA结构，并在模型中使用了MSAG模块，使得模型能够捕获跨通道的特征信息，并且在不耗费过多的计算资源的前提下，能够提取包含方向感知信息的特征，从而使模型能够准确地定位并识别影像数据的核心区域，进而强化了模型的特征提取能力。RCA-MASG模型结构如图5所示。
图 5.
RCA-MSAG model structure
RCA-MSAG模型结构
实验过程中，将小切片按照一定的批量大小送入模型后，首先，进入初始特征提取阶段（STAGE 0），该阶段任务是对小切片进行原始特征提取；然后，将提取的特征送入MSAG模块，以多种尺度提取特征信息以及通道和空间之间像素的细节信息，将提取到的特征信息拼接融合。接着，进入深层特征提取与融合阶段（STAGE 1～STAGE 4），输入信息经过MSAG模块的挖掘已经剔除了非重点的特征信息，RCA结构会将特征信息再次进行筛选并且能够注意到跨通道的更大区域的特征。最后，将提取到的全部特征信息送入一个MLP，MLP先使用全局AvgPool将输入特征矩阵转换为一个长度为2 048的向量，接着通过一个全连接（fully connected，FC）层过滤非重点信息得到长度为1 000的向量，此时为了防止模型出现过拟合的问题使用一个丢弃层，丢弃层可以按照一定的概率随机地使一些神经元失去作用，最后将丢弃层输出的向量送入FC层，得到一个长度为3且值在0～1之间的概率，并通过最大值函数得到最终的分类结果。
1.2.6. 评价方法
实验选择准确率（accuracy，Acc）、精确率（precision，Pre）、召回率（recall，Rec）以及F1分数作为模型的性能评价指标。Acc指预测正确的结果占总样本数的百分比；Pre是指在所有的预测为正的样本中有多少样本实际为正；Rec是指在所有实际为正的样本中有多少样本被预测为正；F1分数是模型Pre和Rec的一种加权平均数，F1分数认为Pre和Rec具有同样的重要性，F1分数越高意味着Pre和Rec的取值可以同时达到最高。上述指标的计算方法如式(9)～式(12)所示：
 |
9 |
 |
10 |
 |
11 |
 |
12 |
式中，真阳性（true positive，TP）表示预测为正样本且实际上也为正样本的数量，真阴性（true negative，TN）表示预测为负样本且实际上也为负样本的数量，假阳性（false positive，FP）表示预测为负样本但实际为正样本的数量，假阴性（false positive，FN）表示预测为正样本但实际为负样本的数量。在实验中，认为高、中、低三个标签具有同等的重要性，直接将不同类别的评价指标加起来求平均，给每个类别相同的权重，以此得到最终实验结果。
2. 结果
2.1. 对比实验
实验的编程语言为python3.8（Python Software Foundation，荷兰），深度学习框架是pytorch（Facebook，美国），图形处理器（graphics processing unit，GPU）硬件为NVIDIA GeForce RTX 3090（NVIDIA，美国）。实验过程中将数据集按照80%和20%的比例设为训练集和验证集，设置训练批次大小为128，学习率为0.01，使用交叉熵函数作为损失函数，采用带权重衰减的自适应矩估计（adaptive moment estimation weight decay，AdamW）优化算法对模型进行训练。
为了验证提出模型的有效性，本研究进行了以下三个实验。
实验一：不同模型的TMB分类预测效果对比实验。为了验证不同模型的分类效果，将深度神经网络（AlexNet）[21]、VGG、ResNet、InceptionV3、第四代Inception系列模型（InceptionV4）[22]、高效神经网络（EffcientNet）[23]、稠密神经网络（DenseNet）[24]以及残差密集连接网络（ResNeSt ）[25]等模型与本文模型RCA-MSAG进行对比。
实验二：消融实验。为了验证所提模块对于网络性能提升的有效性，以50层ResNet（ResNet-50）作为基准模型，对RCA模块和MSAG模块进行消融实验。
实验三：超参数调优实验。超参数是指模型开始训练之前由人工手动设置的参数，它不能通过模型训练自动调整。学习率是深度学习中非常重要的一个超参数，是指在每一次参数更新时模型参数调整的幅度大小，学习率设置的是否恰当决定了目标函数是否能够收敛到最小值以及何时能够收敛至最小值。减少率也是深度学习中的一个超参数，是指输出神经元被随机丢弃的概率，用于缓解模型训练时可能出现的过拟合问题。超参数的选取同样决定着模型的训练效果，本实验选择学习率和减少率进行实验，在实验中设置学习率的取值分别为0.01、0.001和0.000 1，设置减少率的取值分别为0.3、0.5和0.8，观察不同学习率和减少率情况下对模型性能的影响。
2.2. 实验结果
实验一的不同网络模型TMB分类预测结果的对比如表1所示。由表1可知，在相同实验条件下，融合RCA和MSAG模块的RCA-MSAG模型具有最高的Acc、Pre、Rec和F1分数，充分说明了RCA和MSAG模块融合的有效性，在没有明显增加参数量和计算资源的情况下，提高了模型的分类效果。
表 1. Comparison of performance of different neural network models.
不同网络模型的性能对比
| 模型 | Acc | Pre | Rec | F1 |
| AlexNet | 0.788 | 0.797 | 0.779 | 0.786 |
| VGG | 0.895 | 0.874 | 0.894 | 0.882 |
| Inception-V3 | 0.700 | 0.731 | 0.685 | 0.700 |
| ResNet | 0.910 | 0.915 | 0.909 | 0.912 |
| Inception-V4 | 0.813 | 0.835 | 0.828 | 0.811 |
| DenseNet | 0.832 | 0.835 | 0.833 | 0.834 |
| EfficientNet | 0.882 | 0.886 | 0.882 | 0.884 |
| ResNeSt | 0.911 | 0.917 | 0.909 | 0.912 |
| RCA-MSAG | 0.962 | 0.964 | 0.962 | 0.963 |
实验二的消融实验结果如表2所示。从表2中可以看出RCA和MSAG模块对模型效果提升有积极作用。当模型中存在RCA模块时，模型准确率为0.937，比缺少RCA模块时有所提高，当模型中存在MSAG模块时，模型准确率为0.922，比缺少MSAG模块时有所提高。
表 2. Ablation experiment of RCA and MSAG modules.
RCA模块和MSAG模块消融实验
| 模型 | RCA | MSAG | Acc |
| ResNet-50 | × | × | 0.910 |
| √ | × | 0.937 | |
| × | √ | 0.922 | |
| √ | √ | 0.962 |
实验三的超参数实验结果如表3和表4所示。从表3中可以观察到，学习率的变化对模型分类准确性的影响很小，由此可见，通过加入权重衰减因子来动态调整学习率，可以减少学习率对于模型训练的影响。从表4可以发现，减少率对模型的分类准确性有一定影响，实验结果表明当减少率为0.5时，模型得到了最高的准确率。
表 3. Comparison of classification accuracy under different learning rates.
不同学习率下的分类准确性对比
| 学习率 | Acc |
| 0.01 | 0.962 |
| 0.001 | 0.958 |
| 0.000 1 | 0.953 |
表 4. Comparison of classification accuracy under different dropout rates.
不同减少率下的分类准确性对比
| 减少率 | Acc |
| 0.3 | 0.951 |
| 0.5 | 0.962 |
| 0.8 | 0.858 |
3. 讨论
TMB是近年发现的一种可用于预测免疫治疗效果的生物标志物，在NSCLC的预测中能够起到一定作用，这种生物标志物还可用于预测免疫治疗对其他癌症患者的疗效，因此在临床上具有重要的应用价值。然而，TMB值的计算需要使用新一代测序技术，缺点是检测耗时长、成本高，难以在临床治疗中推广应用。此外，不同的测序技术和测试标准也会导致计算出的TMB值有所偏差。针对以上问题，本文采用深度学习的方法，通过将WSI送入搭建好的深度学习模型中训练，让模型反复学习病理切片中的特征信息，进而可以在较短时间内对TMB值进行高、中、低水平的三分类预测，与使用测序技术相比，检测时间大大缩短，能够为临床诊断选择治疗方案提供理论依据。
表1的结果显示，不同的深度学习模型对于医学图像特征信息的提取能力不同，而RCA-MSAG在TMB值的预测任务中取得了最好的效果。表2的结果显示在ResNet中引入RCA和MSAG模块能够有效提高模型性能，使得模型既能关注到通道和空间之间的细微特征信息，还可提取坐标位置中的特征信息。此外，由于多尺度卷积的使用，模型可以有效关注到不同感受区域的特征信息，从而极大程度提高了模型的特征提取能力。表3的结果显示，采用权重衰减因子和衰减周期等方式，可以有效减少学习率对模型训练的负面影响。同时，应用BN层对数据进行归一化处理，可以提高模型的学习速度和加速收敛。
本文也存在一些局限：第一，由于计算机的内存限制不能把尺寸巨大的WSI直接送入模型训练。因此，在实验前需采用滑动窗口的方式将每张WSI按照一定尺寸切割，而这种方法会导致切片之间的关联信息丢失。第二，虽然本研究进一步细化了TMB值的类别，但仍然不能直接预测出具体的TMB值，未来需进一步将TMB分类问题转换为回归问题，从而直接预测出具体的TMB值。第三，尽管RCA-MSAG模型在没有耗费过多计算资源的情况下取得了较好分类预测效果，但训练周期仍然不短，因此设计更加轻量、高效、低计算量的深度学习模型也是未来的工作。
4. 结论
本文进一步划分了TMB值的类别，并在ResNet中加入了RCA和MSAG模块进行特征信息提取，通过将多个维度的信息相互作用和融合，进一步加强了模型的特征提取能力。本文还采用了一系列优化策略来提高模型的TMB分类性能。例如，使用数据增强技术扩充训练集，从而增强了模型的泛化能力。基于上述方法，经实验验证表明，本文提出的RCA-MSAG在TMB值的多分类预测任务中取得了最佳效果。医务人员可以通过对患者TMB值进行高、中、低水平的分类检测，进而为临床诊断选择适当的治疗方法提供理论指导。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：孟祥福主要负责总体解决方案设计、实验指导、论文撰写、论文审阅及修订；俞纯林主要负责实验方案设计、程序编写、论文撰写；杨啸林主要负责医学背景知识指导、实验结果分析；杨子毅主要负责数据处理方案设计；刘邓主要负责算法咨询与建议。
Funding Statement
国家自然科学基金（61772249）；辽宁省教育厅科学研究项目（LJ2019QL017，LJKZ0355）
National Natural Science Foundation of China; Department of Education of Liaoning Province
References
- 1.Saranya N, Kanthimathi N, Boomika S, et al Classification and prediction of lung cancer with histopathological images using VGG-19 architecture. IFIP Advances in Information and Communication Technology (IFIPAICT) 2022;654:152–161. [Google Scholar]
- 2.Sung H, Ferlay J, Siegel RL, et al Global Cancer Statistics 2020: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries. CA Cancer J Clin. 2021;71(3):209–249. doi: 10.3322/caac.21660. [DOI] [PubMed] [Google Scholar]
- 3.Xu Z, Ren H, Zhou W, et al ISANET: non-small cell lung cancer classification and detection based on CNN and attention mechanism. Biomedical Signal Processing and Control. 2022;77:103773. doi: 10.1016/j.bspc.2022.103773. [DOI] [Google Scholar]
- 4.Rizvi N A, Hellmann M D, Snyder A, et al Mutational landscape determines sensitivity to PD-1 blockade in non–small cell lung cancer. Science. 2015;348(6230):124–128. doi: 10.1126/science.aaa1348. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 5.Greillier L, Tomasini P, Barlesi F The clinical utility of tumor mutational burden in non-small cell lung cancer. Transl Lung Cancer Res. 2018;7(6):639–646. doi: 10.21037/tlcr.2018.10.08. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 6.Coudray N, Ocampo P S, Sakellaropoulos T, et al Classification and mutation prediction from non-small cell lung cancer histopathology images using deep learning. Nat Med. 2018;24(10):1559–1567. doi: 10.1038/s41591-018-0177-5. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 7.Christopher T, Banu J J Study of classification algorithm for lung cancer prediction. International Journal of Innovative Science, Engineering & Technology. 2016;3(2):42–49. [Google Scholar]
- 8.Deniz E, Şengür A, Kadiroğlu Z, et al Transfer learning based histopathologic image classification for breast cancer detection. Health Inf Sci Syst. 2018;6(1):18. doi: 10.1007/s13755-018-0057-x. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 9.孙德伟, 王志刚, 杨啸林, 等 基于深度学习的肺腺癌肿瘤突变负荷的预测. 中国生物医学工程学报. 2021;40(6):681–690. doi: 10.3969/j.issn.0258-8021.2021.06.05. [DOI] [Google Scholar]
- 10.刘邓, 杨啸林, 孟祥福 RcaNet: 一种预测肿瘤突变负荷的深度学习模型. 中国生物医学工程学报. 2023;42(1):51–61. doi: 10.3969/j.issn.0258-8021.2023.01.006. [DOI] [Google Scholar]
- 11.Stenzinger A, Allen J D, Maas J, et al Tumor mutational burden standardization initiatives: recommendations for consistent tumor mutational burden assessment in clinical samples to guide immunotherapy treatment decisions. Genes, Chromosomes and Cancer. 2019;58(8):578–588. doi: 10.1002/gcc.22733. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 12.Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, IEEE, 2021: 13713-13722.
- 13.He K, Zhang X, Ren S, et al. Deep residual learning for image recognition// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2016: 770-778.
- 14.Ioffe S, Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift// International Conference on Machine Learning, 2015. Corpus ID: 5808102.
- 15.Glorot X, Bordes A, Bengio Y Deep sparse rectifier neural networks. Journal of Machine Learning Research. 2011;15:315–323. [Google Scholar]
- 16.Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition// Proceedings of the International Conference on Learning Representations, 2015. arXiv: 1409.1556v6.
- 17.Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision// IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2016: 2818-2826.
- 18.Hu J, Shen L, Sun G. Squeeze-and-excitation networks// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, IEEE, 2018: 7132-7141.
- 19.Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module//Proceedings of the European Conference on Computer Vision, Springer, 2018: 3-19.
- 20.Howard A G, Zhu M, Chen B, et al. Mobilenets: efficient convolutional neural networks for mobile vision applications. arXiv preprint, 2017: 1704.04861.
- 21.Krizhevsky A, Sutskever I, Hinton G ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems. 2012;25(2):1097–1105. [Google Scholar]
- 22.Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, Inception-ResNet and the impact of residual connections on learning//Proceedings of the AAAI Conference on artificial Intelligence, AAAI, 2016: 4278-4284.
- 23.Tan M, Le Q. Efficientnet: rethinking model scaling for convolutional neural networks//The 36th International Conference on Machine Learning. ArXiv, 2019. abs/1905.11946.
- 24.Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE, 2017: 2261-2269.
- 25.Zhang Hang, Wu Chongruo, Zhang Zhongyue, et al. ResNeSt: split-attention networks//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), New Orleans: IEEE, 2022: 2735-2745.