深度学习算法辅助构建三维颜面正中矢状平面

Abstract

Objective

To establish a deep learning algorithm that can accurately determine three-dimensional facial anatomical landmarks, multi-view stacked hourglass convolutional neural networks (MSH-CNN) and to construct three-dimensional facial midsagittal plane automatically based on MSH-CNN and weighted Procrustes analysis algorithm.

Methods

One hundred subjects with no obvious facial deformity were collected in our oral clinic. Three-dimensional facial data were scanned by three-dimensional facial scanner. Experts annotated twenty-one facial landmarks and midsagittal plane of each data. Eighty three-dimensional facial data were used as training set, to train the MSH-CNN in this study. The overview of MSH-CNN network architecture contained multi-view rendering and training the MSH-CNN network. The three-dimensional facial data were rendered from ninety-six views that were fed to MSH-CNN and the output was one heatmap per landmark. The result of the twenty-one landmarks was accurately placed on the three-dimensional facial data after a three-dimensional view ray voting process. The remaining twenty three-dimensional facial data were used as test set. The trained MSH-CNN automatically determined twenty-one three-dimensional facial anatomical landmarks of each case of data, and calculated the distance between each MSH-CNN landmark and the expert landmark, which was defined as position error. The midsagittal plane of the twenty subjects' could be automatically constructed, using the MSH-CNN and Procrustes analysis algorithm. To evaluate the effect of midsagittal plane by automatic method, the angle between the midsagittal plane constructed by the automatic method and the expert annotated plane was calculated, which was defined as angle error.

Results

For twenty subjects with no obvious facial deformity, the average angle error of the midsagittal plane constructed by MSH-CNN and weighted Procrustes analysis algorithm was 0.73°±0.50°, in which the average position error of the twenty-one facial landmarks automatically determined by MSH-CNN was (1.13±0.24) mm, the maximum position error of the orbital area was (1.31±0.54) mm, and the minimum position error of the nasal area was (0.79±0.36) mm.

Conclusion

This research combines deep learning algorithms and Procrustes analysis algorithms to realize the fully automated construction of the three-dimensional midsagittal plane, which initially achieves the construction effect of clinical experts. The obtained results constituted the basis for the independent intellectual property software development.

对称性是评估颜面部美学的重要参考依据，也是口腔正畸、颌面外科、口腔修复等多学科关注的共性问题。颜面对称性分析的前提是建立准确的正中矢状平面(midsagittal plane, MSP)，也称为对称参考平面(symmetry reference plane, SRP)，该平面是颅颌面外科手术设计、正畸矫治设计、数字化美学修复设计中的基础环节，直接影响后续治疗的准确性与可靠性^[1-3]。传统方法多参考人工定义三维颜面部数字模型上的重要解剖标志点直接构建正中矢状平面，通常包括中线解剖标志点及双侧解剖标志点。1999年O’Grady等^[1]基于激光三维扫描技术获取石膏头像的三维数字模型，通过定义鼻根点、鼻尖点、上唇红缘中点构建正中矢状平面，2006年郭宏铭等^[4]在扫描获取的三维面相上通过左右外眦连线中点、鼻尖点和鼻底点连线构建三维正中矢状平面。由于不同专家选择标志点的标准不一，较难形成具有一定临床普适性的共性方法。近年，随着数字化口腔医学的日益发展，基于自动化算法构建三维颜面正中矢状平面的研究成为热点，相关研究主要围绕本体-镜像关联法开展。本体-镜像关联法的核心算法是三维颜面本体模型与镜像模型的重叠算法，具体包括完全不依赖解剖标志点的迭代最近点算法(iterative closest point, ICP)^[5]和不完全依赖解剖标志点的普氏分析算法(Procrustes analysis, PA)^[6]，其中PA算法较关注颜面部重要解剖标志点，这更符合临床医生的诊疗经验。2015年，本课题组熊玉雪等^[7]应用PA算法构建颜面正中矢状平面，证实PA算法较适合颜面无明显不对称的患者。2020年，Zhu等^[8]进一步改进提出了赋权普氏分析算法，通过对颜面解剖标志点不对称程度的量化评估，以权重分配的方式约束其参与正中矢状平面构建的贡献大小，并证实了赋权普氏分析算法较适合颜面轻度及中度畸形的患者。上述构建三维颜面正中矢状平面的人工定义法和PA算法，都在一定程度上依赖于三维颜面解剖标志点的准确确定，而既往研究均采用手工标记。如何实现三维颜面解剖标志点的自动、准确和高效确定，是有待解决的关键问题，因此，在本课题组赋权普氏分析算法构建三维颜面正中矢状平面的研究基础上，应用人工智能领域的深度学习算法，建立可自动确定三维颜面解剖标志点的多视图堆叠沙漏神经网络(multi-view stacked hourglass convolutional neural networks，MSH-CNN)算法模型，实现三维颜面正中矢状平面的全自动构建流程，为自主知识产权的软件开发奠定基础。

1. 资料与方法

1.1. 研究对象

选取就诊于北京大学口腔医院及兰州市口腔医院临床门诊的无明显颜面畸形的受试者100例，男性和女性比例为1 ∶ 1，本研究获得北京大学口腔医院生物医学伦理委员会批准(批准号：PKUSSIRB-202054042)，受试者均对本研究内容和目的充分知情并签署知情同意书。

1.2. 实验设备及软件

三维面部扫描仪(FaceScan, 3D-Shape公司，德国)的扫描速度为0.2~0.8 s，扫描精度为0.1 mm，扫描面部角度范围为270°~320°(涵盖左耳到右耳范围)，三维颜面数据处理软件采用Geomagic Studio 2013(3D System公司，美国)。标志点自动确定算法的网络搭建基于Linux服务器环境，显卡型号为NVIDIA GeForce RTX 2080T。

1.3. 三维颜面数据的获取和处理

临床医师指导受试者处于自然头位状态，受试者采取端坐位，双眼平视前方，保持眶耳平面(FH平面)与地平面平行，表情放松时进行面部扫描，三维颜面数据保存为. OBJ格式文件。三维颜面数据纳入标准为：轮廓完整、分辨率高，没有明显移动。专家在逆向工程软件Geomagic Studio 2013中进行解剖标志点的标注，在全面部区域选取鼻尖点、鼻底点、内眦点、外眦点等21个解剖标志点(中线5个和双侧16个)，由一名高年资专家间隔一周提取3次，取标志点的坐标平均值，标志点集如图 1所示。

图 1.

三维颜面标志点示意图

Anatomic landmarks of three-dimensional facial data

Ex, exocanthion; Ala, alare; Sal, subalare; Cph, crista philtre; Ch, cheilion; Gn, gnathion; Su, superciliary ridge; Pu, pupil; En, endocanthion; Prn, pronasale; Sn, subnasale; Ls, labiale superius; Li, labiale inferius.

1.4. MSH-CNN的构建

根据机器学习点的数据集划分理论，将临床收集的100例受试者三维颜面数据按照4 ∶ 1分配，其中80例作为训练集，20例作为测试集，男女比例均为1 ∶ 1，20例测试集数据并未参与深度学习的算法训练。根据颜面标志点识别的需求，本研究构建了MSH-CNN，算法训练过程如下: (1)多视图生成：在三维颜面数据处理阶段，人工调整三维颜面数据的几何中心至坐标系原点，即位于虚拟相机的焦点。基于python软件中的random函数设置虚拟相机，用其拍摄三维人脸不同旋转、倾斜、俯仰角度的96个图像，通过不同视角二维图像获取完整的三维颜面数据信息。基于python软件中的vtk开源工具包，对上述96个二维图像进行渲染，得到二维图像对应的深度图像，输入到MSH-CNN中。(2)MSH-CNN算法模型的训练：将80例训练集中三维颜面数据的多视图(96视角)深度图像输入到MSH-CNN中进行算法训练，以二维热图的形式呈现MSH-CNN计算的标志点，再通过虚拟相机矩阵的映射实现将二维标志点投影到的三维颜面数据的相应位置。本研究以专家标注的三维颜面标志点作为真值，通过计算MSH-CNN自动确定标志点与专家标注之间均方根误差(mean squared error, MSE)，使用梯度下降优化算法更新网络学习率和网络参数，以达到MSE损失最小的目的。本研究在两层堆叠沙漏网络中添加注意力焦点，从而建立了一种多层级注意力机制的监督模块，为提高标志点自动确定算法的鲁棒性提供了支撑。本研究的MSH-CNN算法使用0.001的初始学习率，100个迭代次数，设置8个批量大小，MSH-CNN的整体网络构架如图 2所示。

图 2.

多视图堆叠沙漏神经网络模型架构图

Multi-view stacked hourglass convolutional neural networks

MSH-CNN, multi-view stacked hourglass convolutional neural networks; 3D, three-dementional.

1.5. 三维颜面解剖标志点的自动确定

基于上述本研究训练完成的MSH-CNN算法模型，自动确定训练集以外的20例受试者三维颜面数据的标志点，并将MSH-CNN标志点与专家标记标志点间的欧氏距离作为“定点误差”。计算20例三维颜面数据上21个解剖标志点的平均误差作为全面部平均定点误差，将标志点划分为眶区(眉峰点、外眦点、内眦点、瞳孔点)、鼻区(鼻尖点、鼻底点、鼻翼点、鼻翼下点)和口唇区(上唇凸点、下唇凸点、颏下点、唇峰点、口角点)，分别计算各区域的定点误差。

1.6. 三维颜面正中矢状平面的构建

应用MSH-CNN算法自动确定上述20个三维颜面模型标志点的坐标，输入本课题组前期由python软件编制的赋权普氏分析算法程序^[8-9]，该程序可自动计算三维颜面解剖标志点的形态学分析指标(不对称性指标)，并基于加权最小二乘法的原理构建三维颜面正中矢状平面。本研究中的“真值平面”基于“专家区域ICP算法”构建，既往研究报道该算法的正中矢状平面构建效果与高年资专家组无差异^[10]。将本研究算法正中矢状平面与专家平面间的夹角定义为角度误差，计算20例三维颜面数据角度误差的平均值和标准差。

2. 结果

MSH-CNN结合赋权普氏分析算法自动构建三维颜面正中矢状平面的效果如图 3和图 4所示，应用MSH-CNN确定全面部21个解剖标志点的定点误差为(1.13±0.24) mm。在面部各分区中，眶区(8个标志点)定点误差为(1.31±0.54) mm，鼻区(6个标志点)定点误差为(0.79±0.36) mm，口唇区(7个标志点)定点误差为(0.84±0.34) mm。基于本研究算法构建的20例三维颜面数据正中矢状平面与专家平面的角度误差为0.73°±0.50°。

图 3.

多视图堆叠沙漏神经网络算法自动确定三维颜面解剖标志点的效果图

Twenty-one three-dimensional facial anatomical landmarks automatically determined by multi-view stacked hourglass convolutional neural networks

A, right lateral view; B, front view; C, left lateral view.

图 4.

多视图堆叠沙漏神经网络算法自动构建的三维颜面正中矢状平面效果图

Determining the midsagittal plane based on the multi-view stacked hourglass convolutional neural networks

The red plane signifies the ground truth plane, the green plane constructed by the multi-view stacked hourglass convolutional neural networks algorithm.

3. 讨论

3.1. 赋权普氏分析算法构建三维颜面正中矢状平面有待完善

回顾三维颜面正中矢状平面构建的发展历程，人工手动确定方法应用广泛，其关键在于标志点的选择和可重复性，该方法经验依赖性较强，并且专家在数字化软件中直接人工定义三维颜面正中矢状平面仍具有一定难度。三维颜面正中矢状平面的自动构建算法多基于“本体-镜像关联法”，其核心重叠算法主要分为ICP算法和PA算法。ICP算法是一种完全不参考解剖标志点的算法，虽然学者验证了ICP算法在构建正常颜面数据的正中矢状平面时的可靠性和可重复性，但其对于颜面严重不对称畸形的患者，对称性不良数据对算法造成影响，使得正中矢状平面的构建效果欠佳^[11]。随后有学者对全局ICP关联法进行了改进，通过人工选取对称性良好的颜面区域进行本体和镜像重叠运算，一定程度上改进了ICP算法的临床适合性，称之为“区域ICP算法”^[12]，本研究结合专家经验与自动化算法，将该方法应用于专家平面的构建，即作为本研究正中矢状平面的“金标准”，该方法的稳定性和可重复性较好，可降低专家时间成本，同时可达到与高年资专家人工构建相同的效果。上述全局ICP和区域ICP关联法完全不参考颜面重要的解剖标志点信息，对临床诊疗经验的体现有所欠缺。

PA算法与ICP算法最大的不同在于对颜面解剖标志点的关注，PA算法比较符合口腔医生临床诊疗习惯和经验，其核心思想是应用标志点引导本体-镜像关联模型的重叠，从而获得正中矢状平面。有学者证实了PA关联法较适于颜面无明显不对称的患者^[13]，但对称性不良的PA标志点同样会对PA算法产生影响，称之为Pinocchio效应^[14]。本课题组前期针对PA关联法进行了一系列算法改进，建立了“赋权普氏分析算法”，可通过三维形态学分析方法对颜面解剖标志点的不对称性进行量化评估，并将量化评估结果作为该标志点参与构建颜面正中矢状平面的权值参数，实现个性化标志点权值引导下的正中矢状平面构建^{[8-9, 13]}。本课题组之前的研究结果显示，赋权普氏分析算法构建的正中矢状平面与专家平面间的角度误差仅为1.53°±0.84°，对临床轻度及中度颜面畸形患者的适合性较好^[9]，但本课题组之前的研究中，PA标志点(20 ~ 32个)的确定仍采用人工确定方法，为满足口腔临床大量数据的诊断分析，手工定点环节的效率、准确性和可重复性仍有待改进，由自动化、智能化的算法完成PA标志点的确定是实现全自动正中矢状平面特征构建的发展方向。

3.2. MSH-CNN用于三维颜面解剖标志点的自动确定具有可行性

三维颜面解剖标准点的准确确定既是传统方法也是自动化算法构建正中矢状平面的前提。既往文献中自动确定颜面标志点主要分为几何信息分析算法和深度学习算法两种^[15-17]。几何信息分析算法主要根据颜面几何形态变化规律自动确定解剖标志点：2016年Katina等^[15]基于三维颜面数据表面的曲率分类，自动确定17个标志点，但该方法在面部几何特征不明显区域的标志点定位效果欠佳；2019年Agbolade等^[16]基于非刚性配准算法，将人脸模板变形至患者三维颜面数据，实现16个解剖标志点的自动确定。近年，应用深度学习算法进行三维人脸数据分析成为研究的热点，2013年Creusot等^[17]采用局部形状特征向量学习三维颜面数据的结构特征，获得13个标志点，该算法标志点数量有限，较容易受姿势和遮挡的影响；2015年Su等^[18]采用多视图的方式将三维数据转换为二维图像，使用神经网络对二维图像进行特征提取，多视图图像的方法由于能够直接应用神经网络来提取图像特征，性能和鲁棒性较好，为三维标志点的自动确定提供了可能；2018年，Paulsen等^[19]基于三原色图像构建的多视图卷积神经网络，测试定点误差为2 mm。

口腔临床三维颜面数据的来源包括光学扫描获得的彩色三维数据和影像学锥形束CT扫描获得的灰度图像数据等^[20-23]，Paulsen等^[19]研究中针对二维RGB图像的深度学习算法不能满足口腔临床多来源的数据需求。为获得数据兼容性更强的神经网络模型，本研究搭建了普适性更好的针对降维深度图像的MSH-CNN，结合“上采样”和“下采样”将二维深度图像的局部结构和全局结构共同学习，获得高分辨率热图，从而获得标志点自动确定的高性能表现。此外，本研究算法模型搭建中还创新建立了一种多层级注意力机制的监督模块，该模块以第一层沙漏网络的特征作为权重信息，即注意力模块，来指导第二层沙漏网络的特征学习，该模块的加入为提高标志点自动确定算法的鲁棒性提供了支撑。本研究结果显示，应用MSH-CNN算法模型测试的20例受试者三维颜面数据，21个解剖标志点的平均定点误差仅为(1.13±0.24) mm，在鼻区误差最小，口唇区次之，眶区最大，其中眶区主要受到眉峰点的影响，各区域误差均在临床可接受范围。本研究提出的用于自动确定三维颜面标志点的MSH-CNN模型，其优点是在训练样本较小的前提下，通过多视图增强数据学习更多标志点信息，并采用层级注意及监督信号的形式达到更高的准确性，可满足口腔临床大量数据的诊断分析需求。针对口腔临床颜面畸形的患者，可在本研究MSH-CNN算法基础上进一步对畸形颜面数据进行训练和参数优化，以使网络模型具有更好的处理畸形数据的泛化能力，相关研究课题组正在开展临床数据收集工作，以进行后续研究。

Funding Statement

国家自然科学基金(81870815、82071171)、甘肃省重点研发计划项目(21YF5FA165)

Supported by the National Natural Science Foundation of China (81870815, 82071171), and the National Key Research and Development Program of Gansu Province (21YF5FA165)