深度学习在耳科学中的研究与应用进展

Abstract

随着深度学习算法的优化及医学大数据资料的积累，近年来深度学习技术在耳科学各领域中研究应用广泛。目前，耳科学中的深度学习研究结合了耳内窥镜、颞骨影像、听力图、术中图像等多种资料，涉及耳科疾病诊断(包括耳廓畸形、外耳道疾病、中耳疾病及内耳疾病)、治疗(指导用药及术式规划)及预后预测(涉及听力转归和言语学习)等方面。根据资料的类别及研究目的(疾病诊断、治疗及预后预测)的差异，可选用不同的神经网络模型以发挥其算法的优势，深度学习对耳科疾病具有良好的辅助诊疗价值。深度学习在耳科疾病的临床诊断与治疗中具有较好的应用前景。

医学技术的发展基于现代科学的进步，近几年，随着人工智能中深度学习的发展，越来越多计算机技术应用到医疗过程中，许多研究^[1-2]将疾病的诊断、治疗及预后预测等方面与深度学习相结合，很大程度上对临床诊断与治疗起到了辅助作用。耳鼻喉科中耳部结构涉及听觉器官、平衡觉器官、面神经等多类功能器官的解剖，与侧颅底、鼻咽、颌下区等重要邻近组织联系密切。颞骨为多孔道复合骨块，解剖结构精细且复杂，故耳科疾病的诊断及治疗方式的选择需要借助耳内窥镜、听力学检查、CT、MRI等多种辅助检查手段^[3-6]。目前许多临床医生对深度学习的研究颇为陌生，本文旨在总结近年来深度学习在耳科学中的应用与研究进展，分析目前实际的局限，并对未来其临床应用前景进行展望。

1. 深度学习的概念

深度学习的概念源于人工神经网络的相关研究^[7]，是机器学习的一个重要分支，其动机在于建立、模拟人脑进行分析学习的神经网络，进而模仿人脑的思维方式来解释数据。深度学习通过学习一种深层非线性网络结构，实现复杂函数的逼近，具有强大的从少数样本集中学习数据集本质特征的能力，实质是通过构建的很多隐藏层的机器学习模型和海量的训练数据，来学习更有用的特征，从而提高分类或预测的准确性。深度学习常见的算法包括卷积神经网络(convolutional neural network，CNN)、循环神经网络(recurrent neural network，RNN)、生成对抗网络(generative adversarial network，GAN)等^[8-10]。

2. 深度学习在医学领域的应用

Hinton等^[11]在2006年便提出了深度学习模型，2012年Hinton研究团队应用深度CNN模型识别图像，从此深度学习技术逐渐广泛地应用于医学领域，至2015年基于硬件设备性能的提升和算法技术的进步，计算机视觉飞速发展，深度CNN在医学领域的应用得到进一步推广^[12]。深度学习涉及基础医学研究、临床资料分析、公共卫生管理等，在医学领域发挥着至关重要的作用。由于深度学习能自动化提取数据中的复杂高维抽象特征，在医学图像分析、疾病分类诊断、预测与分析等方面具有出色的表现，在疾病发展的各个阶段可以辅助临床决策，将深度学习结合众多临床数据构建模型，可从大数据出发分析疾病特征，诊断疾病，抉择治疗方案，预测疾病预后，进一步回归患者个体，从而实现精准医疗，构建远程医疗平台，缩小医疗水平差异^{[9-10, 13-16]}。

3. 深度学习在耳科学中的应用

耳科疾病临床发生率高，可导致听力下降、眩晕、面瘫等症状，严重影响患者的健康，是患者经济损失的重要影响因素，对耳科疾病进行预防、诊断、治疗以减少听力损失患者数是耳科医生的工作目标。较多耳科疾病的诊断需要多种检查方式的辅助，同时对这些检查结果作出准确的解读也十分重要，非耳鼻喉科医生及部分基层工作者对耳科疾病很难做出准确诊断，而通过深度学习，可以在短时间内分析大量数据，可有效地减少重复工作时间。

深度学习在耳科学中的应用主要涉及计算机视觉，包括图像分类、目标检测及图像分割技术，实现目标的两分类或多分类、器官定位或病变识别、器官和子结构分割^[17]，所涉及临床数据包括耳内窥镜、颞骨CT、内耳MRI和乳突X线片等，目前的研究主要涉及外耳畸形、中耳疾病(中耳炎、中耳胆脂瘤、乳突炎、耳硬化症等)及内耳疾病(梅尼埃病、听神经瘤、突发性耳聋等)的诊断和治疗过程，对于疾病的诊断有较高的准确率，能定性诊断且能定量分析疾病。深度学习技术还有助于治疗方式的选择和手术入路的规划，对预后转归亦有较好的预测作用。

3.1. 颞骨解剖结构的分割和定位

通过深度学习对解剖结构实施分割、定位，有利于临床医生进一步认识及学习结构之间的毗邻关系、选择治疗方式及规划手术路径等，亦可使病变直观化，使手术医生更直观地了解患者病变区域解剖结构的特殊性^[18-19]，从而制定个性化的微创手术方案，推进精准医疗。

目前深度学习主要通过CT与MRI影像图片资料对颞骨结构进行精细分割、定位，以及对不同病变进行特征提取及区别^[20-21]。Li等^[22]提出了一种新颖的三维深度监督密集网络(3D-deep supervision dense network，3D-DSD Net)对颞骨中细小的解剖结构进行分割定位，充分利用颞骨的三维空间结构的邻近信息来提高分割精度，此研究表明深度学习在颞骨结构分割上取得了阶段性的进步。Nikan等^[23]提出的全卷积网络，先利用CNN进行特征提取，并利用上采样操作粗略获得语义分割结果，然后采用跳跃连接的思想将底层的空间信息和高层的语义信息想结合，以提高分割精度，自动分割包括乙状窦、面神经、内耳、锤骨、砧骨、镫骨、颈内动脉和内耳道等结构，该算法的准确性和速度被证明优于当前的手动和半自动分割技术。柯嘉等^[24]采用3D U-Net神经网络结构，实现了对迷路、听小骨和面神经的全自动化分割，该网络基于编码器-解码器结构，应用长距离跳跃连接结合来自底层的细节，有效地弥补了因下采样操作过程中空间信息的缺失，帮助网络模型更加精确地定位解剖结构，该方法获得接近手工分割的精度。Vaidyanathan等^[25]利用3D U-Net CNN神经网络模型和Jeevakala等^[26]提出Mask R-CNN和U-Net 2个神经网络模型相结合对MRI内耳道及周围结构进行识别，说明深度学习算法的改进对于三维的空间结构分割应用具有促进作用。

在实际操作方面，由于CT较易出现容积效应、条形伪影、运动伪影等情况，图像质量欠佳，增加降噪等数据处理难度，影响CT图像的解剖结构分割精度^[20]；与其他成像方法相比，MRI需要较长的扫描时间，扫描层厚偏厚，而颞骨结构较精细，且患者的器官运动亦会造成图像模糊和对比度失真，但MRI具有较高的分辨率和信噪比，利用不同的脉冲序列可得到对比度等优点，相较于CT对软组织具有较高的敏感度和特异度，可用于不同解剖结构的定位与分割^[21]。随着未来影像设备的改进及成像技术的发展，可缩短检查时间、精进薄层扫描和提高成像质量，将会使影像数字化与深度学习紧密结合、共同发展。

3.2. 辅助疾病诊断

3.2.1. 外耳疾病

先天性耳廓畸形是多种原因引起的第一、二鳃弓发育异常所致，影响患者的外形和听力，在婴幼儿时期容易被父母及医生忽视。由于耳廓形状特征相对复杂，目前单纯使用线性测量和数学建模量化耳廓畸形非常困难。Hallac等^[27]首次基于CNN算法，从患者的2D耳廓照片中自动提取耳廓畸形特征，并对比正常组耳廓图片作出判断，耳廓畸形诊断准确率约为94.1%，证实了深度学习技术在识别耳畸形方面具有很大的潜力。然而该模型是基于小样本数据的，故容易过拟合，表现出极差的泛化特性，无法进一步推广使用。未来可采取多中心研究，增加样本量、增强数据、改进模型、优化算法等措施，使该技术实现新生儿耳廓畸形的筛查与实时分级、分类的临床转化，从而引起新生儿家属及临床工作者对耳廓畸形的重视，予耳廓畸形患儿以及时治疗。

3.2.2. 中耳疾病

在导致听力损失的中耳疾病中，中耳炎及中耳胆脂瘤的发病率较高^[28]，皆可表现为不同程度的耳溢液、听力下降和耳鸣，临床症状具有相似性。中耳炎是指发生在中耳黏膜、骨膜或深达骨质的炎症；中耳胆脂瘤是中耳内鳞状上皮形成的非真性肿瘤，具有破坏周围骨质的特点。中耳炎与中耳胆脂瘤若不及时治疗，在一定条件下会引起严重的颅内外并发症。中耳炎首选药物治疗，而中耳胆脂瘤则首选手术治疗以彻底清除病变。临床上，相似的临床表现使得中耳胆脂瘤早期容易被忽视或在合并感染时被误诊，中耳胆脂瘤的早发现、早诊断、早治疗在临床诊断和治疗中具有重要意义，耳内窥镜、听力学检查及CT、MRI等检查可辅助诊断并可进行疾病鉴别^[29-31]。

耳内镜可以清晰观察外耳道情况及鼓膜形态，提供2D图像，可对外耳道病变、鼓膜病变、中耳炎等作出较为直观的判断。CNN通过卷积层的参数来描述特征，可自动提取大量的训练数据，可配合传统的神经网络训练特征和分类器的参数，能较好地保留图片的特征，同时极大地提高分类准确率。Livingstone等^[32]率先使用CNN对正常鼓膜、耵聍栓塞、鼓室置管等耳内窥镜图像进行识别，其分类准确度为84.4%。Cha等^[33]使用Inception-V3和ResNet101神经网络模型、Camalan等^[34]将分类CNN转换为图像检索模型^[34]对大量耳内窥镜图像进行诊断，均有较好的诊断效果。Khan等^[35]提出了新的CNN方法自动检测鼓膜和中耳感染，该模型对正常、慢性中耳炎伴鼓膜穿孔和分泌性中耳炎3类图像进行分类，可达到95%的诊断准确率，该研究结果表明CNN在鼓膜和中耳感染的自动识别方面有很大的潜力。Zeng等^[3]提出的DensNet-BC169和DensNet-BC1615这2个神经网络模型将集成分类器与实时自动分类相结合，实现了耳部疾病的实时自动诊断。Alhudhaif等^[36]在CNN神经网络模型中嵌入了通道和空间模型、剩余块和超体积算法，对研究中涉及的5种鼓膜、外耳道及中耳病变类型取得了满意的分类效果。Sundgaard等^[37]使用Inception-V3神经网络模型对耳内窥镜中急性中耳炎及分泌性中耳炎进行区分，诊断准确度为85%。Miwa等^[38]提出将CNN与2个新型数字图像增强系统相结合，在中耳内窥镜手术中观察术腔，对胆脂瘤基质、胆脂瘤碎片和正常中耳黏膜进行区分及诊断，该研究中2个图像增强系统的敏感度分别为34.6%和42.3%，特异度分别为81.3%和87.5%。Byun等^[39]使用ResNet18+Shuffle神经网络模型对鼓膜图像进行分类，对中耳疾病的诊断准确率最高达97.18%，同时该研究强调了深度学习对于住院医师学习疾病诊疗的辅助作用。

目前，基于静态耳内镜图像的常见外耳道及中耳疾病的深度学习诊断模型已有较高的精度，进一步利用耳内镜视频系统对病变判读和范围勾画是今后的研究方向。未来通过提升计算机的性能，减少运动模糊、气泡、镜面反射、漂浮物体和像素饱和度等伪影对内窥镜视频的图像信息提取的影响，内镜视频系统将会成为丰富的研究素材，可为今后的中耳手术指导和疗效的预后判断提供帮助。

通过颞骨CT可以了解乳突的气化程度、听小骨的状态、中耳的各个部位及病变的范围，CT的数字化本质与机器学习无缝连接，可在开发临床应用的人工智能方面更加实用。Wang等^[40]建立了基于颞骨CT的深度学习框架，用以诊断慢性中耳炎，将CT图像分为正常、慢性化脓性中耳炎和胆脂瘤3类，该模型受试者操作特征曲线下面积(area under the receiver operating characteristic curve，AUC)为0.92，敏感度(83.3%)和特异度(91.4%)均超过临床专家的平均水平。乳突炎是乳突气房黏膜及骨质的炎症，是中耳炎的常见并发症，当炎症破坏乳突骨壁时，亦会引起严重颅内外并发症，可通过乳突X线片及颞骨CT进行诊断。Lee等^[41]认为多个视图(乳突前-后视图和侧视图)训练的CNN算法表现出比由单个视图(乳突前-后视图或侧视图)训练的算法更好的性能，深度学习算法诊断乳突炎的准确度接近或高于专业放射科医生，当样本量足够大时，深度学习算法可以应用于具有巨大解剖差异和变化的人体结构医学图像的解读和疾病诊断。

颞骨相较其他解剖结构，具有多气房、个体差异较大、听骨链结构精细、部分病变组织在X线或CT影像上缺乏特征性表现(如听骨链中断但存在软连接与正常听骨链，乳突气房内的肉芽组织与肿胀黏膜等)的特点，使标注成本及难度更高，故缺少大量高质量标注的中耳结构训练样本，有监督的深度学习算法无法发挥其作用，难以实现构建个体化结构模型以指导精准治疗。未来随着检查设备的改进及算法的优化，使病变组织特征更明显及重建结构更清晰，从而促进临床的诊断和治疗。

耳硬化症是一种病因复杂的疾病，目前多认为由遗传和环境因素共同引起。病理上是由于骨迷路原发性局限性骨质吸收，而代以血管丰富的海绵状骨质增生，常表现为渐进性听力下降(以传导性为主)、耳鸣、韦氏错听等，主要通过听力学检查、颞骨CT及手术探查等进行临床诊断^[42]。由于该疾病早期缺乏特征性表现，致使易出现误诊、漏诊，延误治疗。既往研究^[43-44]显示：耳硬化症前庭窗区的病灶特征在颞骨CT中具有较高的灵敏度和特异度，并能够明确病灶范围、位置。Fujima等^[45]通过多种深度学习方法分析耳硬化症患者颞骨CT，与放射科医生相比，使用GoogLeNet和ResNet等神经网络模型进行的分析证明深度学习于耳硬化症诊断的非劣效性；Tan等^[46]通过逻辑神经网络(logical neural network，LNN)对耳硬化症影像进行分析，有效减少了窗型耳硬化症的误诊，LNN展现优良的特征提取能力与特征表达能力，深度学习结合影像学数据资料可作为耳硬化症的辅助诊断工具之一。此外，Nie等^[47]基于耳硬化症可导致镫骨固定、声能吸收率发生改变，以及耳硬化症宽频声导抗可与其他中耳疾病存在差异的特点，设计了1种CNN分析相关原始资料数据，并通过数据增强、迁移学习方法进一步完善了该智能诊断网络模型的性能，从而提高了该检查辅助诊断耳硬化症的效率。为耳硬化症的诊疗提供了参考意见。当前各层医疗机构CT设备条件参差不齐，耳硬化症的影像临床诊断率仍未到达理想高度，临床上耳科疾病的诊断和治疗需多种检查方式相结合，如耳内窥镜、听力学检查、前庭功能检查、影像学检查，不能仅通过某一检查结果得出结论。今后研究中可构建耳科疾病多模态诊疗模型，结合全方位临床信息，对疾病实现早发现、早诊断。

3.2.3. 内耳疾病

梅尼埃病为耳源性眩晕疾病，具有反复旋转性眩晕发作、波动性听力下降、耳鸣和(或)耳胀满感等临床症状，内淋巴囊积液是其典型病理特征。静脉注射钆后的MRI增强成像可有效增强区域内病变显示，辅助诊断梅尼埃病。Cho等^[48]设计开发了3into3-VGG深度学习模型，用于钆造影内耳MRI图像中的耳蜗和前庭的图像分割，并通过计算分割区域内的内淋巴囊积水比率，使梅尼埃病的诊断更准确且效率更高。Boegle等^[49]应用对CNN内耳钆造影MRI影像进行分析，对内淋巴流动区域进行分割及内淋巴囊积水的量化，对梅尼埃病有较好的诊断及预后评估作用。

Shapey等^[50]使用2.5D-CNN神经网络模型构建自动分割框架，对MRI影像中听神经瘤进行分割并计算肿瘤体积，在诊断的同时评估病变范围，可对临床医生在进一步手术方式和路径选择上提供参考意见。随着成像设备的不断改进、技术的提升及造影剂种类的丰富，今后将可使内耳疾病实现高精度定性诊断、定量分析病变程度及疾病数据维度。

3.3. 辅助疾病干预与治疗

不同耳科疾病的首选治疗方式存在差异，合理的治疗方式选择往往需要结合准确的疾病诊断和病变的实际情况作出判断。通过深度学习模型精准评估病变的程度及范围，有助于医生对治疗方式的选择。Sundgaard等^[37]基于耳镜下鼓膜征像的中耳炎自动诊断算法，对急性中耳炎和分泌性中耳炎进行分类和指导用药，避免了分泌性中耳炎患者抗生素的滥用。Miwa等^[38]通过深度学习结合术中内窥镜数字图像增强系统模式的方法，实现了在术中对中耳胆脂瘤组织进行直接判读和范围划定，最大程度地避免了术中胆脂瘤残留。颞骨结构精细且复杂，准确分割关键解剖区域不仅有助于了解它们的结构特征，而且在术前可辅助制订手术方式^[51]。Zhang等^[52]研发基于AlexNet网络的深度学习模型，用于自动化识别和判断人工耳蜗置入术前CT中的内耳结构，并进一步结合3D U-Net神经网络模型分割耳蜗内结构及定位置入的人工耳蜗电极阵列，可有助于术后人工耳蜗的编程设置^[53]。Hussain等^[54]设计了耳科显微镜手术视频中可视化耳蜗轴的增强现实系统，将来自患者术前颞骨CT扫描的信息与手术中显微镜的实时视频相结合，实现人工耳蜗植入中蜗轴的3D可视化，该项研究也是首次基于深度学习的人工耳蜗植入手术可视化的尝试与分析。Heutink等^[55]使用多种CNN算法对颞骨超高分辨率CT进行分析，可分割和自动测量患者耳蜗的大小及形态，推进了人工耳蜗植入的个体化治疗^[55]。Fauser等^[56]使用U-Net神经网络模型对颞骨CT图像进行分割，术前便可规划耳蜗植入和前庭神经鞘瘤切除等微创入路。

人工智能辅助疾病治疗是技术发展的重点，深度学习在常见耳科疾病的诊断、治疗均取得一定的进展，但部分患者术前无法行全面评估，如单侧已植入耳蜗患者对侧拟行耳蜗植入或同侧再次植入时，颞骨CT会有部分金属伪影干扰，无法完善二次术前MRI检查，故造成评估方式的缺失；目前成像水平无法实现准确预测术中是否应使用听小骨、听小骨型号选择及划定胆脂瘤病变区域等。在将来技术不断发展的条件下，通过性能强大的计算机硬件支持，结合先进的深度学习算法，在术前、术中减少干扰信息的影响，准确定位解剖标志，测量毗邻结构的距离，可辅助准确识别病变组织，实现个体化精准治疗，进一步提高医疗水平。

3.4. 辅助预后预测

人工耳蜗植入后，患者听力及言语能力的恢复情况是听力重建重点关注的问题。Feng等^[57]通过对拟行人工耳蜗植入的患儿术前MRI中的神经形态学相关数据进行分析，比较患儿与正常同龄儿童的神经解剖学和空间模式的不同，构建深度学习模型，以预测人工耳蜗植入患儿术后言语感知的改善情况，准确度达到75%。Zhang等^[52]使用CNN分析人工耳蜗植入术前CT图像、定位术后植入耳蜗的电极阵列，研发出图像引导下人工耳蜗编程方法，此研究表明基于电极阵列植入图像信息的编程设置可以显著改善成人和儿童的听力结果，该模型在一定程度上对人工耳蜗植入术后的效果起到了预测作用。

突发性耳聋是指突然发生且原因不明的感音神经性听力损失，临床上较为常见。由于患者的临床表现具有高度异质性，其治疗效果与预后差异较大，缺乏有效的预后判断指标。Bing等^[58]通过构建4种预测模型，将突发感音神经性耳聋患者年龄、性别、是否具有其他疾病等共149个变量进行分析，对其听力和并发症等预后情况进行对比和预测，结果显示其判别准确率为77.58%。

疾病的预后预测是目前深度学习领域的难点，其主要受限原因包括收集的临床数据缺乏统一的标准和个体差异变化，所构建的学习模型在多种复杂数据和各种异源变量的处理上无法做到权衡精准等。如在突发性耳聋的研究中，纳入变量较多，无法量化影响因素所占权重，故出现预后预测情况对疾病的诊断精确度低。但随着科学技术的不断发展，使患者诊疗过程逐步实现半自动化，也是今后医疗发展的方向，与传统信息获取途径相比，可减少信息收集过程且收集的资料更全面，可更好地全面评估患者治疗前后的身心健康情况。

4. 结 语

科学技术及人工智能的目的是提高人类劳动效率，医学领域与人工智能相结合，可减少医务人员工作量，极大提高工作效率及诊断和治疗质量，故深度学习具有较大的发展前景^[59]。目前深度学习在医学领域的研究处于起步但飞速发展的阶段，但大多数深度学习的算法在临床实践中的应用有限，总结其原因可以归结为2个层面：1)数据来源相对单一，较多研究基于图像资料或单一检查结果，由于个体差异、检查体位及设备成像水平等影响，无法完全获得机器学习所需的“标准化”和“统一化”大数据集，且构建的模型在多种复杂数据和各种异源变量的处理上并不能十分准确。2)现有研究多倾向于回顾性研究，并缺乏大型多中心数据，其临床应用的科学性及实用性有待进一步探究，较多模型存在过拟合或鲁棒性差及推广性差的问题，难以实现临床转化和商业使用。

促进人工智能与深度学习的协同发展，可逐步通过以下措施打破应用及技术层面的壁垒：1)大量完善规范的数据收集及分析。网络时代使得各级医疗机构、各地区数据共享成为可能，建立大型的公开的数据库，加强人工智能学者与临床医生的沟通与交流，确保准确标注信息、收集数据及分析数据，培养高层次多学科复合人才，以促进医学领域及人工智能的紧密结合及发展。2)推进患者健康信息管理半自动化。医务人员从医院系统获得患者的全部健康管理信息数据集，结合深度学习等人工智能技术，提供疾病即时预测分析，了解患者各种疾病过程。3)多组学整合分析。疾病的发生、发展是一个复杂的过程，多组学联合的研究方法已成为主流，可利用病变的基因组、病理学组和影像组等尝试进行多组学的整合分析，深入了解其病因及疾病的演绎过程，对其治疗及预后转归预测具有进一步的指导作用。4)丰富数据来源。构建疾病大数据诊疗平台是未来发展趋势，平台纳入患者基本信息、疾病发展、检查结果、手术视频等资料，结合深度学习技术，以实现诊断疾病、选择治疗方式、规划手术入路及预测预后转归等目标。

随着深度学习技术的不断发展，各种算法也将逐步完善，将构建更多的学习模型，实现个体化治疗、精准医疗，减少医患矛盾，促进医患关系和谐，进一步提高医疗水平。展望未来，尽管深度学习从基础研究落实到临床应用仍有很长的路要走，但其必将会对临床流程和实践模式产生深远的影响，成为推动医学未来发展的变革性力量之一。

基金资助

国家自然科学基金(81700923)；湖南省自然科学基金(2021JJ31108，2021JJ41017)；中国博士后科学基金(2021M693566, 2021T140751)；湖南省科技创新人才计划(2020RC2013)。

This work was supported by the National Natural Science Foundation of China (81700923), the Natural Science Foundation of Hunan Province (2021JJ31108, 2021JJ41017), the China Postdoctoral Science Foundation (2021M693566, 2021T140751), the Science and Technology Innovation Program of Hunan Province (2020RC2013), China.

利益冲突声明

作者声称无任何利益冲突。

作者贡献

卯爽 论文构想、撰写及修订；吴学文、侯木舟、梅凌云、冯永 论文指导；宋剑 论文构想、指导及修改。所有作者阅读并同意最终的文本。

原文网址

http://xbyxb.csu.edu.cn/xbwk/fileup/PDF/202303463.pdf