Abstract
目的
探讨如何利用多模态深度学习方法，联合光学显微镜（OM）、免疫荧光显微镜（IM）及透射电子显微镜（TEM）对应的3种图像进行免疫介导性肾小球疾病分类。
方法
基于273例患者的病理图像进行回顾性研究，构建多模态多示例模型对3种免疫介导性的肾小球疾病——免疫球蛋白A肾病（IgAN）、膜性肾病（MN）、狼疮性肾炎（LN）进行分类。该模型采用示例水平的多示例学习（I-MIL）方法挑选患者的TEM图像并与同一患者的OM图像和IM图像进行多模态特征融合。通过该模型与单模态、双模态模型的比较，探究3种模态之间的不同组合形式以及模态特征融合方式的特性。
结果
联合OM、IM以及TEM图像建立的多模态多示例模型准确率为（88.34±2.12）%，优于准确率为（87.08±4.25）%的最优的单模态模型，以及准确率为（87.92±3.06）%的最优的双模态模型。
结论
本研究成功建立基于OM、IM及TEM三种模态图像的多模态多示例模型，并验证了采用多示例学习结合多模态学习方法对免疫介导性肾小球疾病分类的有效性。
Keywords: 肾活检病理, 肾小球疾病, 深度学习, 多模态融合, 多示例学习
Abstract
Objective
To develop a multi-modal deep learning method for automatic classification of immune-mediated glomerular diseases based on images of optical microscopy (OM), immunofluorescence microscopy (IM), and transmission electron microscopy (TEM).
Methods
We retrospectively collected the pathological images from 273 patients and constructed a multi-modal multi- instance model for classification of 3 immune-mediated glomerular diseases, namely immunoglobulin A nephropathy (IgAN), membranous nephropathy (MN), and lupus nephritis (LN). This model adopts an instance-level multi-instance learning (I-MIL) method to select the TEM images for multi-modal feature fusion with the OM images and IM images of the same patient. By comparing this model with unimodal and bimodal models, we explored different combinations of the 3 modalities and the optimal methods for modal feature fusion.
Results
The multi-modal multi-instance model combining OM, IM, and TEM images had a disease classification accuracy of (88.34±2.12)%, superior to that of the optimal unimodal model [(87.08±4.25)%] and that of the optimal bimodal model [(87.92±3.06)%].
Conclusion
This multi- modal multi- instance model based on OM, IM, and TEM images can achieve automatic classification of immune-mediated glomerular diseases with a good classification accuracy.
Keywords: renal biopsy pathology, glomerular disease, deep learning, multi-modal fusion, multi-instance learning
肾活检是肾小球疾病诊断的重要依据[1]，包含光镜、免疫荧光和透射电镜3种检查[2]。通过这3种检查可以分别得到对应的图像，这3种来自不同成像模式的图像可被视为不同的模态[3]。由于肾小球相关疾病种类复杂多样，在3种模态中表现各异，为了诊断准确，病理医生需要通过肉眼反复观察，费时费力，极大地限制了诊断的效率[4]。若能借助深度学习方法，实现肾小球病理图像的自动分类，辅助病理医生进行诊断，将大大提高诊断的效率和准确率。目前，已有一些针对单一模态的肾小球病理图像进行自动分类的相关研究：针对光镜模态，Puneet等[5]进行了肾小球正常与异常形态的分类以及纤维化程度的分类；Uchino等[6]对全局性硬化、节段性硬化、毛细血管内增生等7种肾小球结构变化进行了分类；Zeng等[7]则对肾小球进行定位，并识别了肾小球全局性硬化、节段性硬化和新月体等病变。针对荧光模态，Ligabue等[8]对肾小球免疫复合物的外观、分布、位置和强度等4种主要特征进行了分类；Federico等[9]对系膜和血管襻两种常见的肾小球免疫复合物的位置进行了识别；Zhang等[10]则对肾小球内免疫复合物的沉积模式进行了更细致的分类。针对电镜模态，Hacking等[11]评估了深度学习模型在淀粉样变性、糖尿病性肾小球硬化、膜性肾病等5种肾小球疾病中的分类性能。现有的这些研究大多都只关注一种模态，没有参照肾活检流程联合多种模态进行分析，尚不能满足肾小球疾病分类的实际诊断需求。
近来，有学者开始利用多模态学习方法开展了相关研究，如Wang等[12]将两种不同免疫荧光染色的荧光图像IgG和C3进行联合，对早期膜性肾病、晚期膜性肾病以及非膜性肾病进行了分类；Hao等[13]联合光镜和荧光两种模态，提高了网络模型对膜性肾病的识别性能。然而，他们的研究只局限于光镜和荧光模态，而没有考虑电镜模态。电镜检查可从超微结构水平核实光镜和荧光检查所见，在肾小球疾病诊断中发挥着重要的作用[14, 15]。因此，如何将电镜模态同光镜、荧光模态进行联合，实现肾小球病理图像的自动分类是一个尚未解决的重要问题。与光镜和荧光图像不同，由于电镜具有极高的放大倍率，导致单张电镜图像不能提取到完整的病变信息。因此在与光镜和荧光模态联合之前，需要利用多示例方法提取多张电镜图像的信息。多示例学习是一种弱监督学习方法，可将单张图像视为一个示例，同一患者的所有示例构成一个包，并只利用包的标记进行模型训练[16]。使用多示例学习方法，Xue等[17]利用每位患者CT扫描得到的切片图像，识别了慢性阻塞性肺病；Yin等[18]利用超声扫描的二维图像，对患后尿道瓣膜症的病人进行了诊断；Jian等[19]则通过每位病人每次MRI扫描得到的切片图像，对交界性和恶性上皮性卵巢肿瘤进行了区分。但是，目前还未有基于多示例学习针对肾活检电镜图像进行疾病分类的研究。
为了探讨如何将电镜模态同光镜、荧光模态进行联合，本研究基于深度学习方法建立多模态多示例模型，对3种常见的免疫介导性肾小球疾病——免疫球蛋白A肾病（简称IgAN）、膜性肾病（简称MN）、狼疮性肾炎（简称LN）进行自动分类，提高病理医生的工作效率。
1. 材料和方法
1.1. 实验数据
本研究为回顾性研究，收集了2021年12月、2023年8月这两个月内，由广州华银医学检验中心采集的273例患者IgAN、MN、LN 3种肾小球疾病患者的图像数据，所有数据已经过脱敏处理，患者个人隐私信息已全部去除。所有患者的数据均包含光镜（OM）、荧光（IM）、电镜（TEM）3种模态。经苏木精-伊红（HE）、过碘酸-系夫（PAS）以及过碘酸六胺银（PASM）等染色可得到不同的光镜图像。为了避免不同染色对模型性能造成影响，本文只采用PASM染色的光镜图像进行探索性研究[4]。经免疫球蛋白A（IgA）、免疫球蛋白G（IgG）、补体C3等抗体进行免疫荧光染色可得到不同的荧光图像。基于抗体检测阳性的图像，模型可以学习到免疫复合物的沉积模式。因此，在本文实验中只采用抗体检测阳性的图像，即IgAN病变的患者只采用IgA抗体染色的图像，而MN和LN病变的患者只采用IgG抗体染色的图像。对于电镜模态，我们采用收集到的所有电镜图像。每位患者的数据包含一张光镜图像、一张荧光图像以及平均6~7张的电镜图像（表 1）。为了比较单模态、多模态模型间的性能，本研究使用5折交叉验证方法将数据集按4∶1划分成训练集和测试集对实验中的所有模型进行评估。
表 1.
在图像水平下的多模态数据集详细信息
Detailed information on multimodal datasets at the image level
| Modals | Diseases | Total images | ||
| IgAN | MN | LN | ||
| OM: Optical microscope image. IM: Immunofluorescence microscope image. TEM: Transmission electron microscope image. PASM: Optical microscope images stained with PASM. IgA: Immunofluorescence microscope images stained with IgA antibody. IgG: Immunofluorescence microscope images stained with IgG antibody. | ||||
| OM | 92 (PASM) | 88 (PASM) | 93 (PASM) | 273 |
| IM | 92 (IgA) | 88 (IgG) | 93 (IgG) | 273 |
| TEM | 594 | 600 | 610 | 1, 804 |
1.2. 模型框架
本文提出的方法框架，由光镜分支、荧光分支、基于多示例学习的电镜分支以及多模态融合模块等4个部分组成（图 1）。
图 1.
本文方法整体框架
Framework of the proposed method. A: Optical microscope image. B: Immunofluorescence microscope image. C: Transmission electron microscope image. D: Multi-modal fusion.
1.2.1. 光镜分支
肾小球疾病的重要结构性病变特征集中体现在肾小球区域，若能在光镜图像中分割出肾小球区域将更有利于模型进行肾小球疾病的分类与识别[13, 20]。本文基于框提示的标注方式，利用目前较为先进的分割模型SAM[21]对所有光镜图像进行半自动分割，提取出图像上的肾小球区域。在原始的光镜图像（图 2A）上，首先大致框选出图像上的肾小球结构（图 2B）作为输入给SAM的框提示。然后，SAM会根据框提示输出分割掩模（Mask）（图 2C）。最后，利用分割掩模完成光镜图像的分割（图 2D）。令分割后的光镜模态数据集记作XOM = {xiOM}i=1N，包含N份分割后的光镜图像xiOM ∈ RH×W，i表示第i位病人，H、W分别表示输入图像的高和宽。将分割后的光镜图像xiOM输入到模型光镜分支的特征提取器FOM（·）。FOM（·）由一个编码器（Encoder）以及一个全连接层（FC1）构成。FOM（·）输出光镜模态的特征向量ziOM ∈ RD，D表示特征向量的维度，如公式（1）所示。
图 2.
基于框提示标注利用SAM对光镜图像进行肾小球区域分割
Segmentation of glomerular regions using SAM on optical microscope images based on box prompt annotation. A: Original image. B: Box prompt. C: Output mask of SAM. D: Optical microscope image after segmentation.
 |
1 |
1.2.2. 荧光分支
将荧光模态数据集记作XIM = {xiIM}i=1N，包含N份荧光图像xiIM ∈ RH×W。将荧光图像xiIM输入到模型荧光分支的特征提取器FIM（·）。FIM（·）由一个编码器和一个全连接层构成。FIM（·）输出荧光模态的特征向量ziIM ∈ RD，如公式（2）所示。
 |
2 |
1.2.3. 基于多示例学习的电镜分支
如果把病人的单张电镜图像视为示例，同一病人的所有示例构成一个包，则电镜模态数据集记作XTEM = {BjTEM}i=1N，包含N个包，每个包BiTEM = {xjTEM}j=1N有n个示例xjTEM。本文借鉴示例水平的多示例学习方法（I-MIL）[22-25]挑选出一张电镜图像并提取特征，参与后续的多模态融合。首先，将代表第i位病人的包BjTEM输入到模型电镜分支的特征提取器FTEM（·）。FTEM（·）由一个编码器、一个负责输出特征的全连接层FC1以及另一个负责输出预测得分的全连接层FC2构成。输入的包经编码器后由全连接层FC1输出n个示例的特征向量z1TEM, ..., zjTEM, ..., znTEM ∈ RD，其中j表示第i位病人的第j张图像。同时，由全连接层FC2输出n个示例对应的预测得分s，...，sj，...，sn ∈ R，如公式（3）。模型经训练后，将赋予有利于特征融合后进行分类、蕴含丰富局部信息的示例，即阳性示例，更高的预测得分。然后，我们选择预测得分最大的示例对应的特征向量ziTEM参与后续的多模态特征融合，如公式（4）所示。
 |
3 |
 |
4 |
1.2.4. 多模态融合模块
将得到光镜、荧光、电镜3个模态的特征向量ziOM、ziIM、ziTEM后，采用加权拼接（w_cat）操作将各模态特征融合，得到融合后的特征向量zi，如公式（5）、（6）所示。
 |
5 |
 |
6 |
式中，⊕表示拼接操作，wk表示第k个模态的可学习权重系数，
，L表示模态数量。ωk为第k个模态归一化后的权重，
。
将融合后的特征向量zi送入两层的多层感知器MLP(∙)，并使用Soft max(∙) 函数实现肾小球疾病的三分类，如公式（7）所示。
 |
7 |
式中，Pi表示第i位病人患3种疾病对应的预测概率。MLP由一个输入层以及一个输出层组成，并在输入与输出层之间加入了一个丢弃层（Dropout）防止模型过拟合。
1.3. 模型训练设置、评价指标
本文使用在ImageNet-1K数据集上预训练后的Resnet50网络作为各模态特征提取的编码器。为了训练效果的稳定，各模态的编码器将在对应模态的训练数据集上进行微调。其中，对于电镜分支的编码器，我们将包的标签分配给该包下的所有示例，对所有示例执行分类任务，实现电镜分支的编码器在示例水平上的微调。随后，我们冻结各编码器的参数。各个单模态、多模态模型采用同样结构的两层MLP对提取得到的模态特征进行分类。本实验均使用Python3.9的Pytorch环境来完成。模型训练超参数均相同，具体如下：epoch设置为150轮，batchsize设置为16，MLP中丢弃层的丢弃概率设置为50%。训练使用的优化器为Adam，初始学习率设置为0.0001，采用余弦退火式学习率设置[26]。训练所使用的数据扩增方式包括随机水平翻转、随机垂直翻转。模型使用交叉熵损失函数。
分类模型总体性能的评价指标采用准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1得分（F1-score）、受试者工作特性曲线（ROC）以及ROC曲线下面积（AUC），指标计算如公式（8）~（12）所示：
 |
8 |
 |
9 |
 |
10 |
 |
11 |
 |
12 |
其中，TP表示真阳性样本数；FP表示假阳性样本数；TN表示真阴性样本数；FN表示假阴性样本数；PP、PN分别表示阳性样本、阴性样本的预测概率。
2. 结果
2.1. 各模态及模态组合间的对比实验
实验中的电镜模态均使用了I-MIL方法，其中，单模态电镜模型使用I-MIL方法挑选电镜图像后直接进行分类，而含电镜模态的多模态模型使用I-MIL方法挑选电镜图像后，先与其他模态特征融合再进行分类。联合了光镜、荧光、电镜3种模态的OM&IM&TEM model以准确、精确率、召回率、F1得分均优于所有的单模态以及双模态模型。而联合了光镜和荧光模态的OM&IM model表现次优，但均优于其他单模态或双模态模型。在单模态模型中，只使用荧光模态的IM model在各项指标表现均为最优。此外，基于分割后的光镜模态建立的OM model在各项评估指标上都要优于基于分割前的光镜模态建立的OM(No Seg) model（表 2）。单模态与多模态模型的AUC与T检验P值如图 3所示。
表 2.
不同模态组合间的比较
Comparison between different modal combinations
| Models | Accuracy (%) | Precision (%) | Recall (%) | F1-score (%) |
| OM(No Seg) model: The model trained on optical microscope data without segmenting glomerular regions. OM model: The model trained on optical microscope datawith segmenting glomerular regions. IM model: The model trained on immunofluorescence microscope data. TEM model: The model trained on transmission electron microscope data. OM&IM model: The fusion model trained on optical microscope and immunofluorescence microscope data. The naming convention for the other models was the same. | ||||
| OM(No Seg) model | 72.90±3.67 | 72.80±3.62 | 72.87±3.49 | 72.60±3.66 |
| OM model | 77.50±3.06 | 78.13±3.91 | 76.93±3.17 | 76.93±2.98 |
| IM model | 87.08±4.25 | 87.53±3.62 | 87.27±4.12 | 86.87±4.04 |
| TEM model | 38.08±3.78 | 36.73±3.61 | 38.20±3.44 | 35.60±3.71 |
| OM&IM model | 87.92±3.06 | 88.60±3.81 | 88.00±3.00 | 87.87±3.44 |
| IM&TEM model | 87.09±2.43 | 87.00±2.20 | 86.93±2.72 | 86.67±2.39 |
| OM&TEM model | 75.83±2.12 | 76.73±3.19 | 75.87±2.07 | 75.60±2.12 |
| OM&IM&TEM model | 88.34±2.12 | 88.73±2.40 | 88.27±2.23 | 88.13±2.08 |
图 3.
各模型ROC曲线
ROC curves of different models. A: ROC curves of unimodal models. B: ROC curves of multimodal models.
2.2. 可视化结果
在单模态模型中表现最优的荧光模态在多模态模型中的特征权重占比最大，光镜模态次之，电镜模态占比最小（图 4）。在多模态模型的聚类结果中3种类别的类间距离较单模态模型的要远（图 5）。对于IgAN，模型在光镜模态下关注完整的肾小球结构；在荧光模态下主要关注团块状的免疫复合物沉积（图 6C红色箭头）；在电镜模态下，IgAN的典型表现为系膜区（图 6E黄色箭头）可见电子致密物沉积，但模型更关注足细胞足突是否融合（图 6E紫色箭头）。对于MN，模型在光镜模态下关注肾小球内部结构；在荧光模态下关注毛细血管壁上的颗粒状免疫复合物沉积（图 6I红色箭头）；在电镜模态下关注位于基底膜上的电子致密物沉积（图 6K蓝色箭头）。对于LN，模型在光镜模态下关注毛细血管襻是否呈分叶状（图 6M绿色箭头）；在荧光模态下关注大面积的免疫复合物沉积；在电镜模态下关注基底膜（图 6Q蓝色箭头）和系膜区（图 6Q黄色箭头）内的大片电子致密物沉积。
图 4.
多模态模型特征权重占比
Proportion of feature weights in multimodal models.
图 5.
各模态模型t-SNE聚类结果图
t-SNE clustering results of different modal models.
图 6.
三模态模型类激活图可视化
Visualization of each modal image for the 3 diseases and the corresponding model-generated class activation maps. A-F: Visualization of the 3 modal images of IgAN. G-L: Visualization of the 3 modal images of MN. M-R: Visualization of the 3 modal images of LN.
2.3. 消融实验
2.3.1. 多示例方法的有效性分析
综合考虑均值与方差，在多模态模型中，电镜分支使用基于I-MIL方法要优于随机挑选方法（表 3）。
表 3.
电镜分支采用不同方法的实验结果对比
Experimental results using different methods for the TEM branch
| Models | Methods | Accuracy (%) | Precision (%) | Recall (%) | F1-score (%) |
| Random: Select TEM images randomly. I-MIL: Select TEM images with Instance-level Multi-Instance Learning method. | |||||
| TEM model | Random | 76.95±5.90 | 78.33±6.44 | 77.00±5.98 | 76.98±5.79 |
| I-MIL | 38.08±3.78 | 36.73±3.61 | 38.20±3.44 | 35.60±3.71 | |
| IM&TEM model | Random | 87.50±4.75 | 87.93±4.40 | 87.00±4.11 | 87.33±4.69 |
| I-MIL | 87.09±2.43 | 87.00±2.20 | 86.93±2.72 | 86.67±2.39 | |
| OM&TEM model | Random | 73.75±3.12 | 74.27±3.22 | 73.40±2.84 | 73.27±2.90 |
| I-MIL | 75.83±2.12 | 76.73±3.19 | 75.87±2.07 | 75.60±2.12 | |
| OM&IM&TEM model | Random | 87.91±2.43 | 88.73±2.14 | 88.27±2.58 | 87.93±2.31 |
| I-MIL | 88.34±2.12 | 88.73±2.40 | 88.27±2.23 | 88.13±2.08 | |
2.3.2. 模态特征融合方式的探究
除了加权拼接（w_cat）外，我们进行了拼接（cat）、加权相加（w_add）、加权相乘（w_mul）3种特征融合方式的消融实验。使用w_cat方式与w_add方式的模型表现较优，二者在各项指标上的均值差异较小，但w_cat方式在准确率、召回率以及F1得分上的方差更小，其表现较w_add方式稳定（表 4）。
表 4.
不同特征融合方式的实验结果对比
Experimental results of different feature fusion methods
| Models | Methods | Accuracy (%) | Precision (%) | Recall (%) | F1-score (%) |
| cat: Using concatenation to fuse features. w_cat: Using weighted concatenation to fuse features. w_add: Using weighted addition to fuse features. w_mul: Using element-wise multiplication to fuse features. | |||||
| OM&IM&TEM model | cat | 87.92±4.25 | 88.67±3.88 | 88.13±4.44 | 87.93±4.20 |
| w_cat | 88.34±2.12 | 88.73±2.40 | 88.27±2.23 | 88.13±2.08 | |
| w_add | 88.34±2.83 | 89.13±2.22 | 88.40±3.07 | 88.13±2.75 | |
| w_mul | 85.83±6.10 | 86.53±6.14 | 86.40±5.96 | 85.87±6.03 | |
3. 讨论
光镜、荧光和电镜3大检查项目构成肾活检病理诊断的统一体系，三者缺一不可。目前，与肾小球疾病分类相关的深度学习方法研究主要局限于光镜和荧光模态，较少涉及电镜这一模态，不能满足临床病理诊断的要求。针对这一问题，本文提出了多模态多示例模型，对3种常见的免疫介导性肾小球疾病进行自动分类。为了分析各模态特性，本文在包含IgAN、MN、LN 3种肾小球疾病的私有数据集上进行了对比实验。荧光图像是利用抗原抗体反应原理获得的，有着灵敏度高、特异性强的特点[25-27]。因此，在免疫介导性肾小球疾病的分类任务中，荧光模态对疾病类型的判别有较大贡献，这与临床上的经验一致。光镜图像蕴含丰富的肾小球全局形态特征，在此基础上联合荧光图像能进一步提高模型的分类性能[13]，本实验同样验证了这一点，光镜与荧光的双模态模型性能仅次于联合了光镜、荧光、电镜的三模态模型。电镜图像反映了肾小球病变的局部形态特征，其中不仅能够观察到肾小球基底膜、足细胞突起等超微结构，还能观察到电子致密物的沉积位置与形态，在此基础上联合荧光图像对模型的性能有一定提升。然而，电镜与光镜的双模态模型性能并不理想，这可能是由于电镜和光镜在放大倍率上的巨大差异，导致模型仅利用形态特征分类时性能有所下降，特别是在缺少荧光特异信息的情况下。而本文提出的多模态多示例模型能够综合光镜的全局信息、荧光的特异信息以及电镜的局部信息，优于其他所有模型，这充分证明了联合这三种模态进行免疫介导性肾小球疾病分类的有效性。
本文利用可视化技术分析了三模态模型在各模态图像中的关注区域。对于不同疾病的不同模态，模型都能关注到较为重要的病变特征。值得注意的是，经验丰富的病理医生在光镜下更关注系膜细胞增生这种IgAN的典型病变特征与基底膜钉突样变这种MN的典型病变特征，但是，模型在光镜图像中更倾向于关注肾小球整体的结构，尚未能集中于具体的病变部位。这也从侧面说明了在肾小球疾病分类中考虑具有局部信息的电镜图像的必要性。另外，系膜区存在电子致密物是IgAN和LN共同的典型病变特征，而利用电镜可以明确显示二者的电子致密物沉积模式不同。模型关注到了LN的电子致密物成片沉积于系膜区，而IgAN因其非成片电子致密物与周围结构的对比度较低，导致模型没有关注到IgAN在系膜区的电子致密物。本文针对电镜图像使用的多示例方法和多模态特征融合的方式进行了消融实验。电镜单模态模型使用I-MIL方法时，模型分类性能异常地低，甚至远低于使用随机挑选电镜图像方法时的性能。但是多模态模型使用I-MIL方法时则不然，因为单模态模型遇到了包内见证率过高的问题[28, 29]，模型缺少了阴性示例作为对照，难以识别出阳性示例以进行分类。而在多模态模型中，多示例方法挑选包内蕴含丰富局部信息的示例而非有区别性病变特征的示例，挑选示例的标准被放宽，减轻了包内见证率过高带来的影响，使得I-MIL方法在多模态模型中发挥了作用。不同的特征融合方式对模型性能的影响，使用加权拼接和加权相加时的模型性能相近，但是使用加权相乘方式时模型表现较差。这是因为拼接能够保留各模态特征的所有信息，相加可在增强重要特征的同时忽略次要特征，而相乘在增强各模态共性特征的同时却抑制了模态互补的特征。由于肾活检光镜、荧光和电镜三种模态的特征相互补充和佐证，所以使用加权拼接更有益于模型对模态特征的综合利用。
本文方法仍存在一定的局限性。首先，采用I-MIL方法没有充分利用未被挑选的电镜图像的信息，导致了信息的浪费。其次，除了本文采用的基于示例的多示例方法外，还有基于嵌入、基于包等不同类别的多示例方法[30-32]。这些方法能更有效地解决包内见证率过高的问题，而它们与多模态学习结合对肾小球疾病进行分类的效果未在本文中得到验证。最后，在实验设置方面，本文采用了图像分类任务中常用的ResNet50网络作为基本的编码器，而其他结构的深度网络对多模态模型带来的影响尚未得到探讨。未来，我们将尝试把多模态与多示例学习更为有机地结合在一起，提出更适于肾小球疾病分类的模型。同时，我们也将探究如何对更多种类的肾小球疾病进行分类。
综上所述，当前肾小球疾病自动分类研究较少涉及电镜模态，本文提出的模型利用多示例学习方法提取出电镜模态的病理特征，并与光镜、荧光模态的特征相结合，对三种常见的免疫介导性肾小球疾病进行分类。实验结果展示了三模态模型优于其它单模态或双模态模型，证明了联合这三种模态进行疾病自动分类的有效性。未来我们将结合肾小球疾病分类的临床特点和模型结构特性对本文方法进行改进，进一步提升模型分类性能。
Biography
龙楷兴，在读硕士研究生，E-mail: 3188033009@i.smu.edu.cn
Funding Statement
国家自然科学基金（32071368）
Supported by National Natural Science Foundation of China (32071368)
Contributor Information
龙 楷兴 (Kaixing LONG), Email: 3188033009@i.smu.edu.cn.
曹 蕾 (Lei CAO), Email: caolei@smu.edu.cn.
References
- 1.雷 群娟, 曾 彩虹. 人工智能在肾脏病理的应用前景. 肾脏病与透析肾移植杂志. 2021;7(5):465–9. doi: 10.3969/j.issn.1006-298X.2021.05.014. [DOI] [Google Scholar]
- 2.邹 万忠. 肾活检病理学. 北京: 北京大学医学出版社; 2009. [Google Scholar]
- 3.Huang B, Yang F, Yin MX, et al. A review of multimodal medical image fusion techniques. Comput Math Methods Med. 2020;2020:8279342. doi: 10.1155/2020/8279342. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 4.国家肾脏疾病临床医学研究中心, 南京总医院 肾活检病理诊断报告模式专家共识. 中国实用内科杂志. 2017;37(9):810–6. [Google Scholar]
- 5.Mathur P, Ayyar MP, Shah RR, et al. Exploring classification of histological disease biomarkers from renal biopsy images[C]//2019 IEEE Winter Conference on Applications of Computer Vision (WACV). Waikoloa, HI, USA. IEEE, 2019: 81-90.
- 6.Uchino E, Suzuki K, Sato N, et al. Classification of glomerular pathological findings using deep learning and nephrologist-AI collective intelligence approach. Int J Med Inform. 2020;141:104231. doi: 10.1016/j.ijmedinf.2020.104231. [DOI] [PubMed] [Google Scholar]
- 7.Zeng CH, Nan Y, Xu F, et al. Identification of glomerular lesions and intrinsic glomerular cell types in kidney diseases via deep learning. J Pathol. 2020;252(1):53–64. doi: 10.1002/path.5491. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 8.Ligabue G, Pollastri F, Fontana F, et al. Evaluation of the classification accuracy of the kidney biopsy direct immunofluorescence through convolutional neural networks. Clin J Am Soc Nephrol. 2020;15(10):1445–54. doi: 10.2215/CJN.03210320. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 9.Pollastri F, Maroñas J, Bolelli F, et al. Confidence calibration for deep renal biopsy immunofluorescence image classification[C]// 2020 25th International Conference on Pattern Recognition (ICPR). Milan, Italy. IEEE, 2021: 1298-305.
- 10.Zhang L, Li M, Wu YF, et al. Classification of renal biopsy direct immunofluorescence image using multiple attention convolutional neural network. Comput Methods Programs Biomed. 2022;214:106532. doi: 10.1016/j.cmpb.2021.106532. [DOI] [PubMed] [Google Scholar]
- 11.Hacking S, Bijol V. Deep learning for the classification of medical kidney disease: a pilot study for electron microscopy. Ultrastruct Pathol. 2021;45(2):118–27. doi: 10.1080/01913123.2021.1882628. [DOI] [PubMed] [Google Scholar]
- 12.Wang RL, Liu XY, Hao F, et al. Ada-CCFNet: classification of multimodal direct immunofluorescence images for membranous nephropathy via adaptive weighted confidence calibration fusion network. Eng Appl Artif Intell. 2023;117:105637. doi: 10.1016/j.engappai.2022.105637. [DOI] [Google Scholar]
- 13.Hao F, Liu XY, Li M, et al. Accurate kidney pathological image classification method based on deep learning and multi-modal fusion method with application to membranous nephropathy. Life. 2023;13(2):399. doi: 10.3390/life13020399. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 14.李 峰. 电镜在肾小球疾病病理诊断中的应用价值分析. 中外医学研究. 2018;16(36):70–1. [Google Scholar]
- 15.倪 海锋, 杨 旻宇, 弓 玉祥, et al. 电镜检查在肾小球疾病病理诊断中的价值研究. 现代医学. 2018;46(5):477–83. [Google Scholar]
- 16.Maron O, Lozano-Pérez T. A framework for multiple-instance learning[C]//Proceedings of the 10th International Conference on Neural Information Processing Systems. 1 December 1997, Denver, CO. ACM, 1997: 570-6.
- 17.Xue MF, Jia SS, Chen L, et al. CT-based COPD identification using multiple instance learning with two-stage attention. Comput Methods Programs Biomed. 2023;230:107356. doi: 10.1016/j.cmpb.2023.107356. [DOI] [PubMed] [Google Scholar]
- 18.Yin S, Peng QM, Li HM, et al. Multi-instance deep learning of ultrasound imaging data for pattern classification of congenital abnormalities of the kidney and urinary tract in children. Urology. 2020;142:183–9. doi: 10.1016/j.urology.2020.05.019. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 19.Jian JM, Xia W, Zhang R, et al. Multiple instance convolutional neural network with modality-based attention and contextual multi-instance learning pooling layer for effective differentiation between borderline and malignant epithelial ovarian tumors. Artif Intell Med. 2021;121:102194. doi: 10.1016/j.artmed.2021.102194. [DOI] [PubMed] [Google Scholar]
- 20.Yamaguchi R, Kawazoe Y, Shimamoto K, et al. Glomerular classification using convolutional neural networks based on defined annotation criteria and concordance evaluation among clinicians. Kidney Int Rep. 2020;6(3):716–26. doi: 10.1016/j.ekir.2020.11.037. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 21.Kirillov A, Mintun E, Ravi N, et al. Segment anything[C]//2023 IEEE/CVF International Conference on Computer Vision (ICCV). Paris, France. IEEE, 2023: 3992-4003.
- 22.Wu JJ, Yu YN, Huang C, et al. Deep multiple instance learning for image classification and auto-annotation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA. IEEE, 2015: 3460-9.
- 23.Zhou ZH, Xue XB, Jiang Y. Locating regions of interest in CBIR with multi- instance learning techniques[M]//AI 2005: Advances in Artificial Intelligence. Berlin, Heidelberg: Springer Berlin Heidelberg, 2005: 92-101.
- 24.Lin TC, Xu HT, Yang CQ, et al. Interventional multi-instance learning with deconfounded instance-level prediction. Proc AAAI Conf Artif Intell. 2022;36(2):1601–9. [Google Scholar]
- 25.Steingart KR, Henry M, Ng V, et al. Fluorescence versus conventional sputum smear microscopy for tuberculosis: a systematic review. Lancet Infect Dis. 2006;6(9):570–81. doi: 10.1016/S1473-3099(06)70578-3. [DOI] [PubMed] [Google Scholar]
- 26.Kirkpatrick S, Gelatt CD Jr, Vecchi MP. Optimization by simulated annealing. Science. 1983;220(4598):671–80. doi: 10.1126/science.220.4598.671. [DOI] [PubMed] [Google Scholar]
- 27.Maaten LVD, Hinton GE. Visualizing data using t-SNE. J Mach Learn Res. 2008;9:2579–605. [Google Scholar]
- 28.Selvaraju RR, Cogswell M, Das A, et al. Grad-CAM: visual explanations from deep networks via gradient-based localization[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy. IEEE, 2017: 618-26.
- 29.Carbonneau MA, Cheplygina V, Granger E, et al. Multiple instance learning: a survey of problem characteristics and applications. Pattern Recognit. 2018;77:329–53. doi: 10.1016/j.patcog.2017.10.009. [DOI] [Google Scholar]
- 30.Amores J. Multiple instance classification: review, taxonomy and comparative study. Artif Intell. 2013;201:81–105. doi: 10.1016/j.artint.2013.06.003. [DOI] [Google Scholar]
- 31.Zhou ZH, Sun YY, Li YF. Multi-instance learning by treating instances as non-I.I.D. samples[C]//Proceedings of the 26th Annual International Conference on Machine Learning. June 14-18, 2009, Montreal, Quebec, Canada. ACM, 2009: 1249-56.
- 32.Dong L. A comparison of multi-instance learning algorithms. Biosig Proc. 2006;2006:2453. [Google Scholar]