类器官图像深度感知技术研究综述

Abstract

Organoids are an in vitro model that can simulate the complex structure and function of tissues in vivo. Functions such as classification, screening and trajectory recognition have been realized through organoid image analysis, but there are still problems such as low accuracy in recognition classification and cell tracking. Deep learning algorithm and organoid image fusion analysis are the most advanced organoid image analysis methods. In this paper, the organoid image depth perception technology is investigated and sorted out, the organoid culture mechanism and its application concept in depth perception are introduced, and the key progress of four depth perception algorithms such as organoid image and classification recognition, pattern detection, image segmentation and dynamic tracking are reviewed respectively, and the performance advantages of different depth models are compared and analyzed. In addition, this paper also summarizes the depth perception technology of various organ images from the aspects of depth perception feature learning, model generalization and multiple evaluation parameters, and prospects the development trend of organoids based on deep learning methods in the future, so as to promote the application of depth perception technology in organoid images. It provides an important reference for the academic research and practical application in this field.

0. 引言

类器官是一种来源于干细胞的自组织三维（three dimensions，3D）培养物，它能够复制不同组织的细胞类型、结构、生物学复杂性和关键功能^[1]，从而可以模拟器官的发育、组织再生和疾病进展。类器官与传统二维（two dimensions，2D）细胞系相比，可以更好地模拟复杂的生理环境，且基因组相对稳定，适合生物研究和高通量筛选；与动物模型相比，类器官源于人类，可以更准确地模拟人体器官和疾病发展模型，很大程度上符合实验伦理要求^[2]。随着技术发展，科学家们能够通过特定培养方法将胚胎干细胞和诱导多能干细胞转化为类似于人体组织的各种三维结构，从而成功培育出多种非肿瘤衍生类器官。而肿瘤类器官技术的出现则为癌症研究带来了新突破，这种技术利用肿瘤组织中的肿瘤特异性干细胞，引入到三维组织培养中形成细胞簇，模拟体内肿瘤特征和肿瘤细胞的异质性；同时，肿瘤类器官可以针对特定个体进行培养，为个性化肿瘤治疗提供全新的思路与方法，为未来医学发展开辟新道路。

定期观察和评估培养过程中类器官的持续形态变化，对研究特定培养基中生长的类器官至关重要^[3]，研究者们通常使用显微镜来有效观察和评估类器官的形态变化^[4]。由于类器官的三维培养性质，为准确捕获类器官图像需多次调整焦平面，因此成像过程繁琐而复杂。此外，类器官的异质性、组织重叠、成像模糊和杂质闭塞等特点，更是让类器官研究与分析较为困难，其所需要的海量图像数据，也使传统人工分析方法难以满足现有技术发展需求，亟需新的技术方法来解决对类器官图像快速高效进行分析这一难题。

图像深度智能感知技术是人工智能（artificial intelligence，AI）研究领域的一项新兴技术，通过在大型数据集上训练，以完成图像预测、分类和其他复杂图像感知任务。近年来，深度学习的发展促进了生物医学成像领域中图像数据的高通量分析，以卷积神经网络（convolutional neural networks，CNN）为基础的算法被广泛应用于类器官图像处理。通过自适应感知算法，可以从显微图像中挖掘可量化的二维和空间细胞特征，使研究人员能够快速精准地分析不同条件下的类器官结构与功能^[5]。通过将类器官与深度感知技术结合，研究者可以创建更复杂、更准确的人体器官功能或疾病模型，为药物发现、疾病诊断和治疗开发提供强有力的工具^[6]。

目前，虽然深度学习已经广泛应用于类器官图像感知研究领域，研究者针对不同类型的类器官也提出了各种算法模型、研究工具，然而关于深度学习与类器官研究的综述极少。因此，本文主要从图像感知算法角度回顾深度学习与类器官的研究进展，按类器官图像分析的相关任务，分别从分类识别、模式检测、图像分割与动态跟踪4个方面进行单独阐述，总结当前深度学习在类器官研究中面临的挑战，并对未来研究方向进行展望。

1. 基于深度学习的类器官研究

1.1. 基于深度学习的类器官分类研究

目标分类是医学图像分析的核心领域，深度学习技术为这一领域带来了自动、高效且精准的解决方案。而在类器官研究领域，分类任务尤为重要。类器官作为模拟人体真实组织结构的体外模型，其形态特征的细微变化往往能够反映出细胞或组织的生理状态和功能变化，深度学习技术的运用为类器官分类带来了前所未有的突破。如表1所示，总结了深度学习在类器官分类中的研究成果，例如：Kegeles等^[7]在研究中发现，同一批次的视网膜类器官分化差异明显，导致在后续操作前必须通过显微镜进行繁琐且低效的手动挑选，为解决这一问题，他们对比了视觉对象识别数据库（ImageNet）预训练的多种CNN，发现残差神经网络50（residual network 50，ResNet50）模型表现最佳，其特征曲线下面积（area under curve，AUC）值最高。该模型在预测早期视网膜类器官命运方面甚至超越了专家水平，为评估明场条件下的视网膜类器官分化提供了一种稳定的方法。但该研究仅将视网膜类器官的分化分为三类，没有展现出明显可分离的视网膜区域，仅呈现出稀疏或分散的荧光模式。并且该数据集仅由两位科研人员进行了主观标注，数据集具有一定局限性。Bian等^[8]提出了一种深度学习分类算法类器官神经网络（organoid network，OrgaNet），并构建了第一个专用数据集来实现类器官活力评估，其以96.90%的准确率实现了最佳分类，但针对明场情况下的效果不是很好。于是，Powell等^[9]提出了一个深度类器官分类（deepOrganoid）模型，deepOrganoid数据集涵盖9个结肠癌患者来源的类器官的原始明场图像、Z投影和生化注释，具有生物、化学和技术多样性，可以对明场类器官图像分类，并评估类器官活力的变化，为精准治疗提供了新的思路。

表 1. Research results of deep learning algorithm in organoid classification.

深度学习在类器官分类中的研究成果

文献	研究对象	算法模型	准确率（%）	F1 分数	灵敏度（%）
[7]	视网膜类器官	基于ResNet50的CNN	84.00	0.860	85.00
[8]	类器官	基于谷歌深度神经网络的CNN	96.90	0.974	97.90
[9]	结直肠癌类器官	自动生成的CNN	97.00	—	—
[10]	结肠类器官	基于XCeption的CNN	85.00	—	—
[11]	结直肠癌类器官	U-Net和densNet201	76.90	—	—

为确定类器官的结构成熟度，Abdul等^[10]开发了一种名为基于深度学习的图像分析工具（deep learning-based image analysis tool，D-CryptO），研究者使用自定义数据集对6个预训练深度神经网络模型进行了比较，其中极端启发式网络（extreme inception，XCeption）在两类结肠类器官数据集（一类由出芽和球形类器官组成，另一类为不透明和透明的类器官样本）均表现出最佳的检测性能，分类准确率分别为98.00%和90.87%，因此被选为最终的模型。D-CryptO可确定结肠类器官样本的结构成熟程度，检测结肠类器官样本对不同化疗药物的微小变化。该工具还可以扩展到其他器官样本类型，以促进三维组织形态分析的研究。但考虑到D-CryptO是针对结肠器官样品的形态学特征进行训练的，因此在处理其他类型的器官样品时，可能需要重新训练和调整D-CryptO模型。

鉴于类器官具有特征多样且变化迅速的特性，传统的特征提取方法已难以满足研究需求。因此，研究者开始转向采用U型网络（U-Net）模型，以更精准地提取类器官的关键特征。Okamoto等^[11]提出了一种基于人工智能的分类器，该分类器通过训练21例来自IV期结直肠癌患者的患者衍生类器官数据集，将结直肠癌类器官分为6类。该研究使用了两种深度学习模型：U-Net和密集连接卷积网络201（densely connected convolutional networks 201，densNet201），其中U-Net用于从显微镜图像中提取特征，而densNet201用于对类器官进行分类。但该研究使用的样本数量较小，可能限制了对结直肠癌形态多样性的全面理解。此数据集构建基于人工观察和人工智能模型分类，尽管人工智能模型表现良好，但仍可能存在主观性和误差。

1.2. 基于深度学习的类器官检测研究

目标检测的任务是从图像中准确识别所有目标对象，并确定其类别及位置。然而，类器官通常处于三维培养环境中，图像常受到多种成像伪影的干扰，这极大地增加了人工检测这些培养物形态和生长特征的难度。此外，手动测量和计数类器官不仅效率低下，而且容易出错。深度学习在类器官检测中的研究成果，总结如表2所示。Kassis等^[12]创建了亮场模式下的人类肠道类器官数据集，使用基于第2代启发式网络（inception version 2，Inception v2）和残差神经网络（residual network，ResNet）改进的快速区域CNN（faster regions with CNN，Faster R-CNN）模型进行训练，该模型能够准确地检测和计数亮场图像中的肠道类器官培养物，平均精度均值（mean average precision，mAP）为80%，检测质量较高且节约时间。同时该模型还可利用边界框对明场图像中的类器官进行实例注释，这可以量化类器官的数量，但不能量化高级类器官特征，例如大小、密度和偏心率等。对此，Bremer等^[13]开发了一个基于深度学习的广义类器官注释工具，使用实例分割和类器官的像素级识别来量化高级类器官特征，可适用于多种类器官数据集，还可以注释在不同实验室中生成的各种类器官。上述这些方法可以缓解类器官原始数据问题。Abdul等^[14]对比了6种不同的CNN模型，其中具有数据增强的Faster R-CNN结合残差神经网络101（residual network101，ResNet101）（Faster R-CNN/ResNet101）达到了83%的平均精度均值，由此开发了一种名为“基于深度学习的明场图像人肺上皮球分类（human lung epithelial spheroid classification from brightfield images using deep learning，Deep-LUMEN）”的深度学习算法。该模型可用于检测明场显微图像中肺上皮球体的形态变化，从而区分极化和非极化肺上皮球体。然而，该研究训练数据集中的图像数量接近4 000张，测试集仅有197张图像，这种情况可能导致测试结果不够全面或不够具有代表性，进而影响对所得到结果的准确性和可靠性的评估。

表 2. Research results of deep learning algorithm in organoid detection.

深度学习在类器官检测中的研究成果

文献	研究对象	算法模型	准确率（%）	F1 分数	灵敏度（%）
[12]	肠道类器官	基于 Inception v2和ResNet 的架构	80.00	—	—
[14]	肺上皮球体	具有数据增强的Faster R-CNN/ResNet101	83.00	—	—
[15]	肠上皮类器官	YOLOv5	79.00	—	—
[16]	胃类器官	CBAM-YOLOv3	93.20	0.86	82.88
[17]	肠道类器官	改进的YOLOX	90.00	—	—

近几年，“你只看一次”（you only look once，YOLO）算法被广泛运用于各个领域，其针对目标检测任务展现出的快速、高效以及出色的全局特征提取能力，与类器官检测任务完美契合。Domènech-Moreno等^[15]使用YOLO第5代版本（YOLO version 5，YOLOv5）作为小鼠肠道类器官检测的模型，他们成功地开发出了一种能够自动检测和分类肠道类器官样本形态的工具——简便类器官分类工具（Tellu）。这个工具可以快速、准确和可重复地分析肠道类器官样本的形态特征，检测准确率高达79%。但当多个类器官样本密集重叠时，就可能导致Tellu算法和人工都无法准确识别、区分重叠的类器官样本。Yang等^[16]利用改进的YOLO第3代版本（YOLO version 3，YOLOv3）模型对胃类器官样本的细胞衰老情况进行了评估。该模型结合了卷积块注意力模块（convolutional block attention module，CBAM）与YOLOv3目标检测算法（CBAM-YOLOv3），对胃类器官样本进行识别，准确率高达93.20%。相较于传统方法，该模型不仅能准确评估类器官样本的平均直径、数量等参数，更在细胞衰老评估中凸显其优势，借助此模型研究人员可以迅速且精准地掌握胃类器官样本的生长状态，并实时监测活体生物库情况。然而，该研究中收集的图像是静态图像，实际应用时，需要对显微镜的图像捕获过程进行实时评估。Leng等^[17]基于文献[12]的肠道类器官数据集开发了一种改进的轻量级模型——基于深度学习的类器官模型（deep organoid module，Deep-Orga）。该模型基于YOLO第X代版本（YOLO version X，YOLOX）模型进行改进，通过使用重参化视觉几何组（re-parameterization visual geometry group，RepVGG）模型改进YOLOX的骨干网络，以增强推理速度和性能，同时在YOLOX的中间层引入了平衡特征金字塔（balanced feature pyramid，BFP）模块，该模块可以融合不同层级的特征信息，使每一层的特征更加可区分。此外，还使用平衡L1损失来平衡模型的分类和定位损失，进一步提高了模型的检测性能，成功解决了肠道类器官培养物形态评估的主观性和耗时性问题。Deep-Orga模型存在两个主要限制：一是模型轻量化不足，相比YOLOX模型，它引入了更多参数和计算量，导致推理时间增加；二是使用的数据集标注存在缺陷，由于标注的主观性，许多类器官样本未被标记，影响了模型的检测性能。

1.3. 基于深度学习的类器官分割研究

图像分割，是将图像划分为许多具有独特属性的特定区域，并提取出目标特征的技术和过程。近年来，分割算法U-Net广泛应用于医学领域，它具有快速、准确的图像分割能力。鉴于类器官图像具有背景复杂、细胞密集、特征复杂的特点，U-Net逐渐成为类器官研究最热门的算法，其通过结合低分辨率和高分辨率特征图，可有效融合低级和高级图像特征^[18]，其典型的研究成果汇总如表3所示。Wang等^[19]提出了一种改进的将U-Net模型融合优化算法与卷积块注意力模块的残差深度注意力模型（residual deep attention U-Net，RDAU-Net）。该研究创建的数据集包含了不同药物处理的膀胱癌细胞系的类器官样本图像，共计200张，处理时间为1～7 d。其图像经过预处理，增强器官样本和背景之间的对比度，并减少类器官样本的干扰。研究中，RDAU-Net使用残差结构和膨胀率动态卷积模块来替代原来U-Net中的双层卷积模块，增加了卷积模块的感受野和编码器的特征提取能力。此外，原来的最大池化下采样被卷积核大小为5和步幅为2的卷积所取代，以进一步减少编码器下采样部分的信息丢失，在编码器最后两层的动态卷积模块之后添加坐标注意力（coordinate attention，CA）模块，以细化和加强提取的特征；跳过连接部分使用注意力门（attention gate，AG）来权衡特征，抑制不相关的区域特征，并减少语义差距。该研究解决了类器官样本基于药物筛选中的图像分割问题，并实现了自动化的分割和面积计算，为药物筛选提供了有效的工具。但随着时间的推移，数据集中一些类器官逐渐聚集在一起，RDAU-Net在二维平面上再难区分，需要新的模型对类器官进行分割和重建。考虑到U-Net处理小目标时容易丢失细节，Zhang等^[20]针对该膀胱癌类器官数据集又提出了一种基于U方网络（U-squared net，U²-Net）的融合区域注意力引导模块（region attention guided，RAG）和全局上下文模块（global context module，GCM）的模型（attention-guided contextual U²-Net，ACU²-Net）作为膀胱癌类器官图像分割方法。ACU²-Net模型是在U²-Net模型的基础上引入了两个模块：RAG模块和GCM模块，RAG模块通过在U²-Net网络的跳跃连接部分插入通道注意力机制，提高了模型对膀胱癌类器官样本特征的学习能力和处理细节信息的能力；GCM模块则通过获取不同尺度的感受野特征，最大限度地传递膀胱癌类器官样本显著区域的特征信息，避免了在特征提取过程中丢失小目标的细节。这些改进使得ACU²-Net模型能够更好地学习膀胱癌类器官样本的特征，并处理详细信息，从而提高了分割能力。但研究仅针对膀胱癌类器官样本的二维图像进行分割，无法解决复杂背景和混合效应等问题。Park等^[21]使用了基于多尺度U-Net的深度学习模型，命名为类器官提取器（OrgaExtractor），其所采用的数据集包含了248张人类结肠组织中的正常结肠小囊体的二维图像。OrgaExtractor可用于对不同大小的类器官样本进行准确的分割，其在结肠类器官上的分割准确率高达85%。总的来看，U-Net是一种非常适合类器官图像分割任务的深度学习模型，但其在计算资源消耗方面存在一定的问题。为了解决这个问题，Brémond Martin等^[22]研究人员对U-Net进行了优化，提出了多尺度U-Net（multi-scale U-net，Mu-Net）模型，其所用数据集包含了脑类器官培养物的亮场图像。Mu-Net模型通过减少网络层数和卷积核大小来降低计算资源消耗，相比于U-Net，Mu-Net具有更少的参数、更小的内存占用和更高的计算效率，这使得Mu-Net模型在处理图像分割任务时具有更高的效率和性能。该研究使用了40个原始图像和40个合成图像进行交叉验证，以评估不同模型和数据增强策略的性能，虽然在一定程度上解决了数据集少的问题，但小数据集不可避免地会影响模型的性能和准确性，导致MU-Net模型在神经上皮区域分割方面的准确性较差。

表 3. Research results of deep learning algorithm in organoid segmentation.

深度学习在类器官分割中的研究成果

文献	研究对象	算法模型	准确率（%）	F1 分数	灵敏度（%）
[19]	膀胱癌类器官	RDAU-Net	99.32	0.918 6	97.65
[20]	膀胱癌类器官	ACU2-Net	99.23	0.915 4	92.64
[21]	结肠类器官	基于多尺度U-Net	85.30	0.825 3	83.80
[22]	脑类器官	Mu-Net	92.00	0.770 0	90.00
[23]	类器官群	OrganoSeg	96.00	—	92.00
[24]	肿瘤球状体	改进的U-Net	—	—	—
[25]	乳腺癌细胞系	增强损失函数的U-Net	—	0.850 0	—
[26]	肠道类器官	扩展的U-Net	—	—	—
[27]	大脑类器官	三维 U-Net	—	0.920 0	—

根据上述研究，虽然二维图像能够在一定程度上表征类器官，但三维图像更能展现其复杂性和形态特征，针对类器官三维图像分割逐渐成为了研究的重点。Borten等^[23]开发一种自动化的亮场形态测量方法，称为类器官分割器（OrganoSeg）。这是一种可以快速、准确地对三维类器官群（包括5 167个乳腺癌球状体和5 743个结肠癌和结直肠癌类器官）进行分割和测量的方法，与传统的手动分割和可视化检查相比，该方法具有更高的效率和准确性。此外，通过将形态测量数据与转录组数据关联分析，揭示了类器官样本形态异质性与生物分子变化之间的关系。虽然该方法具有一定优势，但仍然依赖于传统的图像处理技术，并且需要调整多个参数以适应具有类似光学条件的任何给定图像集。Chen等^[24]使用基于U-Net的改进CNN算法对三维肿瘤球类器官进行边界检测，该算法基于明场显微图像进行训练，分割性能优于基于阈值或迭代的方法。该研究虽然提出过剩周长指数和多尺度熵指数可认为是评估肿瘤侵袭性更为准确的指标，但并没有提供足够的实验证据来支持这一观点，也缺少比较实验。Winkelmaier等^[25]提出了一种增强的损失函数，用于更准确地分割相邻细胞核之间的边界。该损失函数包含两个交叉熵项，分别衡量预测与真实标签的相似性以及根据细胞核边界加权的像素误差。当结合U-Net模型进行细胞分割时，相较于传统U-Net，该方法在像素级和对象级检测上均有改进。但是，该研究只采用F1分数（F1 score）和聚合雅卡尔指数（aggregated Jaccard index，AJI）作为性能评估指标，没有提供其他常用的更全面的模型性能评估指标，如准确率、召回率等。de Medeiros等^[26]提出了一个肠道类器官图像处理框架，该框架结合了特定的成像优化和深度学习技术，用于在三维图像中分割单个类器官。然而，该研究所提实验过程中可能存在一些实验操作的不确定性和难以控制的因素，例如样品在固定过程中的漂移可能会导致测量数据丢失或不准确，从而影响了该模型的分割能力。Deininger等^[27]通过高场磁共振监测大脑类器官数据集以训练一个三维 U-Net神经网络模型，以期解决二维 U-Net在分析三维图像时存在的监测和分析问题。该研究实现了对三维脑类器官样本的准确分割，并开发了一种非侵入性的磁共振成像和自动化图像分析流程。

1.4. 基于深度学习的类器官追踪研究

类器官的生长和药物反应既是纵向的也是动态的，研究者通常使用延时显微镜追踪类器官，使得在单细胞水平上研究它们的生长和稳态成为可能。然而类器官细胞间的紧密排列和细胞活动的动态性，使人工追踪每个细胞的轨迹和变化变得异常困难。本文将深度学习算法在类器官追踪中的研究成果总结如表4所示。Bian等^[28]首次创建了一个动态高通量小鼠肝脏类器官和肺泡类器官数据集，并通过两个独立的深度学习模型来检测和跟踪类器官。其中，检测部分选择了主流的目标检测模型——单阶段多盒检测器（single shot multibox detector，SSD），而跟踪部分设计了一种将ResNet作为骨干的新深度神经网络架构。该模型在高通量类器官样本图像上具有良好的性能和泛化能力，但研究用于创建高通量图像的图像拼接和合成算法是由商业软件提供的，这导致合成图像的质量可能不稳定，并且检测和跟踪任务是由两个独立的部分组成，前者的性能可对后者产生重大影响。

表 4. Research results of deep learning in organoid tracking.

深度学习在类器官追踪中的研究成果

文献	研究对象	算法模型	准确率（%）	F1 分数	灵敏度（%）
[28]	小鼠肝脏类器官和肺泡类器官	以ResNet为骨干的新深度神经网络架构	—	—	96.60
[30]	肠道类器官	改进的U-Net	—	0.97	—
[33]	乳腺上皮类器官	改进的U-Net
[34]	肿瘤类器官、小肠类器官和人脑类器官	改进的YOLOv5和U-Net算法	96.40	0.96	95.51
[35]	小肠类器官	TypeTracker	—	—	—

在明场类器官图像分析领域，已经出现许多软件工具，这些工具极大地促进了分析过程的自动化。但由于许多现有平台要求对细胞核进行转基因标记^[29]，增加了实验时间和复杂性，并可能改变细胞动力学，且许多软件工具专注于单时间点分析，仅提供群体批量测量而没有单个类器官测量；又或者仅限于边界框检测^[30]，无法在单个类器官水平上获得有用的形态学信息，比如类器官尖峰或起泡形状的变化，因此可能在边界框测量中被遗漏^[31]，继而难以揭示类器官对外部刺激的重要反应。这些软件大多数被开发用于分析来自单一类型组织的类器官，或者仅能应对一种特定光学条件下获得的图像，而无法在其他条件下使用。对此，Matthews等^[32]开发了名为类器智析（OrganoID）的工具，它基于U-Net结构，在网络第1层仅使用8个过滤器，并采用指数线性单元激活函数来避免梯度消失问题；最终卷积层使用s型激活函数，输出每个像素上存在类器官的概率。该软件在胰腺癌类器官图像上训练，并在多种组织图像上验证，能准确分割和跟踪多种类器官样本，无需细胞标记或参数调整，也不依赖荧光技术，适用于亮场和相差显微镜图像中的类器官样本识别与跟踪。但OrganoID平台在训练和测试中使用了较小的图像数据集，可能在形态学差异大的器官样本上性能受限，需额外验证和扩展数据集以克服此问题。同时，该平台无法区分重叠的器官样本，需通过验证、扩展数据集和多焦平面分析来解决。

随着研究的深入，简单的追踪已经不能满足研究者的追求，Kok等^[30]为了精确追踪类器官中的细胞动态，提出了一种创新的CNN类器官半自动跟踪算法。该算法不仅考虑了细胞的运动轨迹，还综合了细胞核体积的变化以及细胞轨迹的长度等多个维度，从而实现对细胞行为的全面分析。为确保数据的准确性，他们还开发了一个手动纠错工具，能够检查和纠正可能出现的细胞跟踪错误。这种方法在分析细胞核体积和位置快速变化时表现出色，为类器官细胞追踪提供了有力的技术支持，但由于细胞密度高且细胞运动快，半自动追踪仍然需要人工干预来修正错误，这意味着整个追踪过程仍然需要大量的时间和人力投入。Hradecka等^[33]提出了一种基于深度学习的分割和追踪算法，该算法使用高分辨率像素到像素转换（pix2pixHD）生成的图像进行U-Net训练，其训练数据集为6种表型的小鼠乳腺上皮类器官，实现了对乳腺上皮类器官的精确实例分割和自动校正跟踪。这一方法为生物图像数据的分析提供了可重复且省力的解决方案，有助于研究者更加高效地获取乳腺上皮类器官的结构和功能信息。

在类器官样本的多维度分析和重建方面，Du等^[34]取得了令人瞩目的成果，他们开发的智能“类器官时序解析台”（OrgaTracker系统）集成了改进的YOLOv5和U-Net算法，使用了人类结肠肿瘤类器官数据集和小鼠肠道类器官数据集进行训练，能够实时地分割类器官样本区域，并能准确捕捉和分析样本的融合过程。该系统还对小肠类器官样本进行了芽生计数和骨架分析，为评估类器官样本的健康生长情况提供了有力支持。此外，他们首次将生成对抗网络（generative adversarial network，GAN）应用于类器官样本图像生成，能够生成具有不同特征的类器官样本的轮廓和细节纹理。然而，该研究仍面临一些局限，主要是图像采集过程复杂且耗时，可能导致资源浪费；此外，GAN模型生成的图像缺乏相应的图像评估标准，只能靠人工评估，很难评估生成的图像的真实性。

Zheng等^[35]则关注于类器官细胞中细胞命运的识别问题。他们开发的类型跟踪器方法（TypeTracker）通过CNN对染色后的小鼠肠道类器官数据集进行训练，实现了空间和时间上的精确跟踪，并将终点细胞类型沿着分支谱系树进行传播，从而实现了对细胞命运的准确识别。这一方法有助于揭示类器官细胞的分化过程和发育机制，为深入理解类器官生物学提供了有力工具。然而，由于细胞的短暂命运可能在观察期间发生变化，且存在反向转变的可能性，同时使用的抗体可能无法识别未成熟的细胞类型，这可能导致TypeTracker无法正常检测到这些细胞。

2. 讨论与总结

近年来，类器官图像深度感知技术研究取得了积极成果，深度学习在该领域展现了优异的处理性能，同时具备大量复杂类器官图像的分析能力，在自动学习特征表示的同时，从海量数据中进行特征提取，研究者们使用目标检测和图像分割等深度感知方法来评估类器官多个功能指标，相较于传统人工方法高效且准确，加快了类器官的研究步伐。然而，这些方法也存在一定的局限性：

（1）类器官原始数据有限。深度学习模型需要大量数据用于训练^[36]，以获取优异的结果。然而，现阶段的多数类器官深度学习模型过于依赖监督学习，这就需要大量已标注数据输入训练，而类器官图像数据获取与标注非常困难，几千张图像就需要消耗高昂的成本，且这些数据集都是人工手动标注，具有很强的主观性。

（2）相同任务下模型性能评价指标不统一。从本文的表1～表4可以看出，在评价不同模型时，采用了不同的性能评价指标，模型评价参数多样性使得难以直接对比各模型间的性能，从而影响学者们在实际应用中的研究、选择与部署。为了促进类器官深度感知技术在科研与实际应用中的推广，应统一相同任务下模型的评价指标，有助于推动类器官深度感知技术的发展和进步。

（3）计算力支持不足。显微光学类器官成像具有很高的分辨率，目前的计算机算力很难支持海量高分辨率类器官图像进行深度学习训练。因此，大多数研究人员通常将原始图像划分为几个图像块的方法来降低图像分辨率，这就会导致图像中的局部任务目标区域丢失^[24]，而图像分辨率降低也会造成网络模型对特征处理能力的降低。

（4）研究具有局限性。类器官深度感知研究中使用的数据集和模型可能存在一定局限性，很多研究只包含特定类型的类器官样本，并没有在不同数据集上验证模型的通用性。

（5）模型可解释性差。深度学习模型从诞生之日起就一直遭受算法黑盒问题的困扰^[37]。由于其结构复杂、计算参数多，导致模型非线性计算机构无法解释，尽管模型输出结果快速而准确，但其原因和确定参数尚不明确其中的设置原理。

（6）用于类器官分析的深度学习方法相对简单。目前，大多数将深度学习与类器官结合的研究只涉及类器官的识别与分割方向，其识别种类多数为二分类或三分类；但实际需求中，仍存在许多极具意义的功能性指标可用于类器官分析，在深度感知技术的帮助下不断被发现与量化。

（7）缺乏生物学验证。尽管在很多研究中使用了多种类型类器官样本进行模型验证，但仍然缺乏对算法结果的生物学验证，多数研究中并没有提供与传统人工分析结果的对比交叉验证，也没有验证算法结果对生物学特征表示的准确性和可靠性。

在未来的研究中，研究者们应收集更多高质量的类器官图像数据，建立一个针对不同类器官的标准化数据训练库，同时需要推动模型性能评价指标的标准化与统一化。一方面，可以针对不同任务借鉴已被广泛认可的深度学习评价指标，如对于检测与分割任务应使用准确率、精确率、召回率、F1分数；对于检测任务使用平均精度均值；对于分割任务使用平均骰子系数（dice coefficient）、AUC等^[38]，这样可以很容易地量化模型在不同任务下的性能。此外，还应尝试整合更多领域的算法感知技术和多种类型的数据集，将一些新的技术应用到类器官图像深度感知研究中。开发更加自动化、智能化与集成化的图像深度感知系统，Park等^[39]利用迁移学习的方法训练CNN，对肾脏器官样本的明场图像进行深度学习并预测其分化状态；Brémond- Martin等^[40]设计了一种改进型对抗性自动编码器GAN（adversarial autoencoder GAN，AAEGAN）算法模型，AAEGAN模型兼具了自动编码器和GAN网络的优异性能，能够学习图像数据的潜在表示，同时生成逼真的类器官图像；Beghin等^[41]设计了一种微型化的三维细胞培养芯片，结合单目标光片显微成像技术，实现了高密度的类器官培养和三维成像。将近似于这些系统的技术应用于类器官研究与分析中，有助于发现减轻或治愈疾病的新药，或探索其他治疗方法，同时加深人类对复杂生物过程的理解。类器官图像深度感知技术的前景和未来是可以预见的，随着相关研究的深入有可能会极大地改善临床医学处理方法和生物医学工程方式。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：孙渝负责文献资料的收集、分析以及论文初稿的撰写，张瀚文、江浩负责论文资料的整理并协助论文修订，黄凤良、罗刚银负责论文写作思路的制定及论文审阅修订。

Funding Statement

中国科学院先导A类专项课题（XDA16021100）；中国科学院科研仪器设备研制项目（ZDZBGCH2018003）；苏州市重大疾病、传染病预防和控制关键技术（研究）项目（20210419115032678，GWZX202102）

Chinese Academy of Sciences; Chinese Academy of Sciences; Suzhou Municipal Health Commission