基于变尺度融合网络模型的心电数据识别算法

Abstract

The judgment of the type of arrhythmia is the key to the prevention and diagnosis of early cardiovascular disease. Therefore, electrocardiogram (ECG) analysis has been widely used as an important basis for doctors to diagnose. However, due to the large differences in ECG signal morphology among different patients and the unbalanced distribution of categories, the existing automatic detection algorithms for arrhythmias have certain difficulties in the identification process. This paper designs a variable scale fusion network model for automatic recognition of heart rhythm types. In this study, a variable-scale fusion network model was proposed for automatic identification of heart rhythm types. The improved ECG generation network (EGAN) module was used to solve the imbalance of ECG data, and the ECG signal was reproduced in two dimensions in the form of gray recurrence plot (GRP) and spectrogram. Combined with the branching structure of the model, the automatic classification of variable-length heart beats was realized. The results of the study were verified by the Massachusetts institute of technology and Beth Israel hospital (MIT-BIH) arrhythmia database, which distinguished eight heart rhythm types. The average accuracy rate reached 99.36%, and the sensitivity and specificity were 96.11% and 99.84%, respectively. In conclusion, it is expected that this method can be used for clinical auxiliary diagnosis and smart wearable devices in the future.

引言

近年来，包括高血压、冠心病在内的心血管疾病成为危害全球人类健康的一大公共卫生问题，发病率与死亡率常年居高不下，且随着社会发展发病人群逐渐年轻化。据统计，每年因该类疾病死亡的人数约占全球死亡人数的三分之一^[1]。由心血管疾病引发的死因大多为房颤导致，该类型的心律失常可能引起成年人的心脏骤停，因此心律失常的早期预防与诊断的重要性不言而喻^[2]。心电图（electrocardiogram，ECG）可通过在皮肤上放置电极来测量，具有无创、便捷、费用较低等特点^[3]。临床中，ECG数据常被用作心律失常的分析与诊断依据，然而由于ECG信号存在着多种类型的波形和状态，且受到患者状态以及患者间差异影响，即便有经验的专家也很难准确判断所有类型。

近年来，人们对ECG信号分析进行了广泛的研究，创建了多种针对心律失常分类的算法。传统方法一般是由两个模块组成，特征提取模块和分类器训练模块。特征提取模块中常用的方法包括时域、频域特征提取和特征统计等，如卡尔曼滤波器、小波变换、主成分分析（principal component analysis，PCA）^[4]。用于分类上述特征提取后的模型包括隐马尔科夫模型（hidden Markov model，HMM）、支持向量机（support vector machines，SVM）、决策树等^[5-6]。其中许多分类算法都基于人工神经网络，归于其良好的建模能力，例如：利用小波变换和模糊神经网络检测心律失常的方法、基于SVM和粒子群优化分类算法、基于离散小波变幻的统计特征作为网络输入训练的方法等^[7-8]。传统的机器学习方法中，前期ECG信号的分析与特征提取对结果的影响至关重要，然而此类方法都依赖于专业知识，存在着一定局限性^[9]。近年来，随着深度神经网络在许多研究领域的广泛应用，都取得了不错的效果，例如：用于特定ECG信号分类的一维卷积神经网络（convolutional neural networks，CNN）、基于深度二维CNN的心律失常分类等^[10-11]。基于深度学习的方法具有自动提取特征的能力，无需人工干预，通常来说泛化能力要强于传统的机器学习方法，在许多多类型心律识别场景中已经能达到95%以上的准确率，部分二分类场景下准确率达到了99%，但受限于ECG数据规模以及方法无法进一步提高^[12-13]。

目前针对ECG数据分类研究领域中，大多数基于计算机的自动ECG信号分类算法均存在如下缺陷：① 心拍长度受患者身体状态、患病类型等因素影响，统一尺度的分割方式易出现心拍信息残缺和冗余，而各个时间点的信号值对心拍而言都具有相同的重要度，不恰当的分割方式可能会改变其原始含义^[14]；② 针对一维ECG信号的数据增强方式较少，且普遍存在波形还原度低、信息丢失等缺陷，导致模型泛化能力不佳；③ 主流的单输入网络模型结构简单，且输入信息单一，导致提取特征能力有限^[15]。

基于上述原因，本文提出了一种针对不平衡ECG数据的变尺度融合网络模型，解决了现有心律失常检测算法中无法处理变长心拍，以及在数据分布不平衡和单一ECG信号情况下识别准确率较低的问题，并通过实验验证了该方法的有效性。为后续大数据背景下，利用人工智能方法实现心律失常的精确分析以及相关疾病的辅助诊断提供新方向。在不久的将来，期望本方法能应用于心血管疾病患者的临床辅助诊断，及早预防和治疗，降低病死率。

1. 数据处理方法

1.1. 数据集介绍

本文选用国际上公认的三大标准ECG信号数据库之一，麻省理工学院与贝斯以色列医院（Massachusetts institute of technology and Beth Israel hospital，MIT-BIH）（ 网址为：http://physionet.org/physiobank/database/mitdb/） ^[16] 的心律失常数据库作为研究数据来源，并按照美国医疗器械促进协会（the association for the advancement of medical instrumentation，AAMI）的标准选择了较为常见的七种异常心律类型与正常心搏（normal beat，NOR）制作数据集，分别为：心室融合心跳（fusion of ventricular and normal beat，FVN）、左束支传导阻滞心搏（left bundle branch block beat，LBBB）、起搏心搏（paced beat，PAB）、室性早搏（premature ventricular contraction，PVC）、右束支传导阻滞心搏（right bundle branch block beat，RBBB）、室性逸搏（ventricular escape beat，VEB）、心室颤动波（ventricular flutter wave，VFW）、NOR。该数据库包含47位患者的48条半小时双通道ECG数据记录，通常用于评估心律失常检测算法的性能。每条记录中心拍的心律失常类型均有专家标注，信号的采样频率为360 Hz。为提高实验结果可信度，划分数据集时，测试集与训练集随机选择且无重叠数据。

1.2. R波检测与心拍分割

在ECG信号的分析与诊断过程中，需先对ECG信号波形进行检测与定位。其中最为关键的便是R波波峰位置的定位，本文采用经典的潘-拓普金斯（Pan-Tompkins）算法得到R峰的位置，常见的心拍切割方式为R峰左右分别取固定采样点数作为一个完整心拍^[17-18]。鉴于心拍长度受不同患者以及不同心律类型影响，本研究根据文献[19]以及数据库中真实数据分析得出动态心拍分割方法：取与当前R峰位置相邻的前一个R-R间期的40%，以及相邻后一个R-R间期的60%组成一个完整心拍，其公式描述如式(1)所示：

1

其中，Beat(n)代表第n个心拍范围，R_p(n)、R_p(n − 1)、R_p(n + 1)分别表示第n个R峰及其前后相邻R峰所在位置。实际处理中，R-R间期利用相邻R峰间的采样点数获取。

1.3. 二维特征图转换

1.3.1. 灰度递归图

递归图具有对数据噪声敏感度低、平稳性要求低、适用于小数据量等优点，通过二维图像表现出原始时间序列的周期性与不规则周期性，常被广泛作为可视化的工具^[20]。现今该方法已从传统工业领域扩展到生物信号分析，例如Zeng等^[21]将脑电信号转换为递归图，然后从中提取出结构特征以提高癫痫病的识别准确率，其有效性得到了验证。

传统递归图仅具备0和1的距离描述，会丢失许多细节信息，为充分反映出时间序列中的复杂信息，本文将点对之间的距离做0～255灰度值的归一化处理，如式(2)所示：

2

其中，i和j分别表示同一序列中对应点所在位置，N为序列长度，m和τ分别为嵌入维数和延迟时间，R_ij为点对i和j间距离，R_max 为点对距离集合中的最大值。经上述处理后可生成包含细节纹理信息的灰度递归图（gray recurrence plot，GRP）。

1.3.2. 频谱图

与语音、脑电数据等信息类似，ECG信号中还存在着大量的频率与能量信息^[22]。因此，本文将ECG信号进行短时傅里叶变换（short-time fourier transform，STFT）处理，与二维灰度波形图相比，经STFT后得到的频谱图具有更丰富的特征信息^[23]。数学描述如式(3)所示：

3

其中，代表输入信号在时间与频率上的二维输出，表示输入信号在采样点n处的幅值，为窗函数，N为窗长度。

经上述两种转换方法处理，选取四种类型的心拍信号，将其原始信号、频谱图与 GRP 进行对比，结果如图1所示。从图1中可以看出，不同类型的心拍信号在两种特征图上的区分难易度不同。因此，本文选择二者相结合的方式作为融合网络两条分支的输入，提供给网络尽可能多的特征作为区分信息，以识别不同类型的ECG信号。

图 1.

Original signals and feature maps of four types of heartbeats

四种心拍原始信号及其特征图

1.4. 数据增强

本文使用的心拍信号取自MIT-BIH心律失常数据库中七种异常心律类型和正常心搏，包含FVN类型803个、LBBB类型8 072个、PAB类型7 024个、PVC类型7 130个、RBBB类型7 256个、VEB类型106个、VFW类型472个、NOR类型75 052个。鉴于该数据集存在严重的数量分布不平衡现象，因此后续采用ECG数据生成手段进行数据增强处理。

为保证生成心拍波形特性与样本相似，本文设计了一种ECG生成对抗网络（ECG generative adversarial networks，EGAN）模型。其生成器与判别器均采用长短时记忆网络（long short-term memory networks，LSTM）结构，最大化对时间序列的分析与学习能力，并保留各个采样点间的时序特性^[24]。本文改进了原有损失函数，将对抗损失与形态损失相结合，对抗损失基于沃瑟斯坦（Wasserstein）距离，其数学描述L_g如式(4)所示：

4

其中，为生成器函数，为判别器参数函数，为真实数据分布，为生成数据分布，E表示期望。本文利用Wasserstein距离计算生成数据与真实数据间最小变化代价，同时选取了欧氏距离作为形态损失，用于量化生成器生成的心拍序列与原始心拍序列间的差异。如式(5)所示：

5

其中，N为生成器生成的心拍序列，O为原始心拍序列，为形态损失函数。

综上分析，本研究中EGAN模块判别器的总损失如式(6)所示：

6

其中，α和γ为可调参数，二者均为0～1间小数，且满足和等于0，用于调整对抗损失与形态损失权重对总损失的影响， 为总损失。

训练中为得到高质量心拍数据，本文将采用损失函数与动态时间规整（dynamic time warping，DTW）算法结合的方式完成最优模型获取^[25]。首先利用多个相邻损失函数差值判断模型的稳态，如式(7)所示：

7

其中，n为当前训练轮次，ε为可调阈值。模型满足上述条件后，可视为达到暂时稳态，接着根据DTW算法验证是否需要继续训练，如式(8)所示：

8

其中，i和j分别表示离散序列q和c中的位置，为当前格点的距离， 为累积距离，当i和j分别达到序列末端时，所求累积距离即为两序列的DTW距离。

本研究针对FVN、VEB、VFW三类数据进行ECG数据生成，如图2所示，展示了EGAN模块生成FVN类型数据的训练过程。训练开始时，产生的数据分布随机且无规则，如图2中第10轮对应所示。随着训练的进行，网络逐渐学习心拍中特征的分布，到50轮左右，对QRS波群与其他区域有了一定的区分。当训练轮数到100轮左右，生成的ECG数据已经具备心拍的基本特征，经式(7)判断已达到稳态，然而此时数据中还存在较多噪声。为满足本文对数据质量的要求，后续训练中结合DTW算法评估，将训练控制在170轮左右结束。

图 2.

Effect of EGAN module training process

EGAN模块训练过程效果

2. 网络设计

本文设计了一种适用于不平衡ECG数据以及变长心拍的心律失常自动分类系统，如图3所示。该系统包含EGAN模块与变尺度融合网络，前者以非监督学习模式实现ECG数据的扩充；后者与传统单分支ECG分类网络不同，其并行结构能同时关注相空间特征、时频域等多维度信息，变尺度特征提取 （variable-scale feature extraction, VFE） 模块能够有效地捕获不同尺寸心拍的深度信息，最后利用融合结构整合心拍的多维度信息实现心律失常的检测。

图 3.

Overall network structure diagram

整体网络结构图

2.1. EGAN模块

本文设计的EGAN模块如图3中左虚线框所示，其中包含生成器与判别器。生成器利用了LSTM结构良好的时序建模能力，高维随机噪声作为生成器的输入，判别器用于判断“假数据”与真实样本的差距，并反馈给生成器。研究中采用了对抗损失与形态损失相结合的方式提高生成心拍数据质量，减少了数据中噪点的产生，改善了心拍的生成效果，同时利用DTW算法优化了EGAN模块的训练过程。

2.2. 变尺度融合网络结构

本文设计的变尺度融合网络为核心分类网络，如图3中右虚线框所示，该网络由两条并行分支组成，二者的输入分别为心拍的GRP与频谱图。原始一维ECG信号由于不同类别间波形形态的相似性以及噪声的存在，导致部分类别有时难以区分^[26]。GRP能够以图像的形式描述出ECG序列在相空间中的周期性与非周期性变化，频谱图中包含了时间序列的时域、频域等多维度信息，与原始波形的微小变化相比，经上述两种形式转换后的特征图不仅能减弱噪声的影响，还能达到丰富ECG信息并突出不同类别间差别的目的。

鉴于残差块结构在图像特征提取阶段的良好的表现，其跳跃连接能将有效信息通过深层网络传播。因此，本文设计的VFE模块中深度特征提取主要由三个改进子残差块和一个外围跳跃连接完成，后续加入了挤压与激励（squeeze-and-excitation，SE）模块和及空间金字塔池化（spatial pyramid pooling，SPP）层，前者用于各个通道的权重分配，使模型关注更感兴趣的特征区域，后者解决了网络输入尺度不定的问题，模块对应结构如图4所示。

图 4.

VFE module structure diagram

VFE模块结构图

子残差块主要由三层卷积结构以及分支上的最大池化层组成，利用最大池化层保留前面层级的主要特征纹理信息，同时避免了部分特征的重复计算，该结构的输入输出描述如式(9)所示：

9

其中， 、 分别表示第l层的输入与输出特征向量，为最大池化操作，为主干上的运算操作，包括卷积、激活函数和标准化处理。本文在三个子残差块外围加入了一个含有平均池化层的跳跃连接，主要目的是保留初始卷积后的特征背景信息，避免部分特征信息的丢失，提高模型特征提取能力，此时特征提取部分的输入关系如式(10)所示：

10

其中， 为经过3个子结构后的输出特征向量， 为平均池化操作，β为值小于1的超参数，可由人工设定或网络训练获得。

VFE模块中的SE模块能够通过训练调整分配到各个通道上的权重，提高网络对重要特征的学习能力，最后经SPP层汇聚特征和统一特征尺寸。SPP层利用不同尺寸的窗口对前一层的特征进行池化，并且将池化后的特征融合为一个固定尺寸的特征作为后续的输入，在解决输入图像尺寸不固定问题的同时，还能进一步挖掘图片的潜在信息^[27]。

本文中变尺度融合网络由两个对称分支结构组成，利用两个卷积层对输入进行初步特征提取，然后经VFE模块提取图像中的深度信息以及固定特征维度。为防止训练中出现梯度消失现象，在部分卷积层与激活函数之间加入了批标准化处理（batch normalization，BN）层，激活函数采用一种自门控激活函数Swish。由于最终特征由两个分支网络汇聚，为避免过拟合情况出现，在连接两个分支之前各加入了随机失活（dropout）层，dropout率设置为0.5。分支特征经展平拼接后，加入两个全连接层，最终利用柔性最大（Softmax）回归实现多分类目的。

3. 实验设计与结果分析

3.1. 实验环境和评价指标

本文的实验数据集均取自美国MIT-BIH心律失常数据库，软硬件环境包含：用于网络训练加速的显卡为英伟达显卡（NVIDIA GTX 2080 Ti，NVIDIA Corporation NASDAQ：NVDA，美国），用于搭建网络模型的深度学习框架PyTorch（1.6.0，Facebook Inc，美国），用于ECG数据处理与模型训练的编程语言主要为Python（3.6，Google Inc，美国）。

为评估心律失常分类算法的效果，本文采用准确率（accuracy，Acc）、灵敏度（sensitivity，Sen）、特异度（specificity，Spe）、阳性预测值（Positive predictive value，Ppv）作为指标来衡量，其计算公式如式(11)～式(14)所示：

11

12

13

14

其中，真阳性（true positive，TP）代表正样本被正确分类的个数，真阴性（true negative，TN）代表负样本被正确分类的个数，假阳性（false positive，FP）代表负样本被错误地分类为正样本的个数，假阴性（false negative，FN）代表正样本被错误地分类为负样本的个数。

后续训练中本文将扩充后的ECG数据集重新划分，每类随机取5 500个心拍，其中4 400个作为训练集，1 100个作测试集。

3.2. 模型性能分析

本研究模型训练阶段的精度和损失值变化曲线如图5所示。从图5中可以看出，本文所设计的融合网络在初始阶段，模型的精度和损失值变化较快。随着训练中模型参数的优化更新，仅验证集曲线存在小幅振荡，大约经30个迭代周期后趋于收敛，训练过程中整体速度较快且无大幅震荡，模型拟合较好，无过拟合情况出现。

图 5.

The loss value and accuracy change curve of the model during the training phase

训练阶段模型损失值与精度变化曲线图

同一数据集下，将本文方法与目前常用的单输入CNN模型进行对比，结果如图6所示。从图6中可以看出单输入CNN模型较难从ECG数据中提取出关键信息，导致网络拟合速度慢且振荡大，最终验证集精度稳定在95%左右。本文提出的变尺度融合网络模型能够获取单个完整心拍的深度信息，所设计的VFE结构针对不同大小心拍输入的特征提取能力强，结合多维度多网络分支方式大幅提高了模型的分类效果。

图 6.

Comparison of the model in this study with the single CNN model

本文模型与单输入CNN模型对比

3.3. 验证方式与结果对比

研究过程中采用五折交叉验证方法确保评估系统的稳定性与可靠性，为减少交叉验证中随机划分数据造成的偏差，本文独立执行了5次验证程序，并以5次实验的平均值作为最终分类结果，得到的混淆矩阵如图7所示。最终模型在测试集的平均精度达到了99.36%，而未使用EGAN模块训练的模型在测试集上精度仅为97.71%。从图7中可分析出，由于FVN、VEB、VFW三类ECG样本数据量过小且特征相似度不高，模型对其识别效果较差，单类的识别精度仅分别为63.13%、75.00%、70.00%。当数据集中加入了EGAN模块生成的心拍数据后，三类的识别精度大幅提升，达到了99.45%、100%、99.45%，说明利用该方式获得的ECG数据已经与原样本十分相似，通过提供更丰富的特征样本，提高模型泛化能力。

图 7.

Test set confusion matrix

测试集混淆矩阵

本文与近年来ECG信号识别相关文献的结果对比如表1所示。表中所有方法采用的原始数据均源自MIT-BIH心律失常数据库，且文献中的ECG类别均包含于本文选择的八种类型之中。Acharya 等^[28]设计了一种由九层卷积网层组成的深层神经网络，针对增强后的五种心拍片段进行识别，准确率达到了94.03%，由于大多数据是利用均值和标准差等手段生成，模型对原样本数据识别能力仍较弱；Oh 等^[29]对ECG数据中的心拍采用动态划分，并提出了一种串行CNN+LSTM分类模型，识别准确率达到了98.10%，但最终需要通过形变等手段固定网络输入的尺寸，部分类型心拍形变后识别难度高，实际应用效果不佳；Zhou等^[30]利用CNN的特征提取能力与极限学习机（extreme learning machine，ELM）相结合，大幅提高了模型收敛速度，针对四种ECG信号类型的识别准确率达到了98.77%，但网络的特征提取能力有限，导致模型泛化能力不强；Zhu等^[31]利用人工提取出19种ECG信号特征，然后利用SVM实现四种心律失常类型区分，识别准确率达到了97.80%，但该类方法识别效果依赖于专业的人工特征提取，分类难度随类别增多而上升。在ECG数据分布不平衡的情况下，本文提出的变尺度融合网络平均准确率达到了99.36%，灵敏度为96.11%，特异度为99.84%，阳性预测值为98.91%。实验结果表明，本文方法的ECG数据识别效果要优于近年来主流相关文献中的方法，具备一定的研究与实际应用价值。

表 1. Comparison of the method in this study with the results in other literatures.

本文方法与其他文献结果比较

方法	类别	数据量	Acc	Sen	Spe	Ppv
CNN[28]	5	452 960	94.03%	96.71%	91.54%	97.86%
CNN+LSTM[29]	5	16 499	98.10%	97.50%	98.70%	—
CNN+ELM[30]	4	69787	98.77%	94.41%	98.45%	94.27%
SVM[31]	4	40 730	97.80%	88.83%	—	93.76%
变尺度融合网络	8	28 881	97.71%	90.00%	99.76%	99.00%
EGAN+变尺度融合网络	8	44 000	99.36%	96.11%	99.84%	98.91%

4. 总结

ECG信号特征作为早期心血管疾病诊断的重要生物信号特征，如何高效识别其类型成为近年来相关领域的研究热点。本文在现有数据集分布不平衡情况下，提出了一种全新的变尺度融合网络模型用于心律失常识别，有效地解决了数据倾斜、心拍尺度不一、算法识别准确率不高等问题。本文设计了EGAN模块与变尺度融合模型，分别实现ECG数据的生成与高效分类。为最大程度保留ECG数据中的有效信息，本文对心拍进行不定长分割，在并行网络中加入核心的VFE模块以提高网络的特征提取能力。基于MIT-BIH心律失常数据库中数据，对所设计模型进行验证，完成八种重要类型ECG数据的识别。实验结果表明，本方法在患者内模式下，识别准确率达到了99.36%，敏感度、特异度与阳性预测值分别为96.11%、99.84%和98.91%。相同数据集下，与近年来几种主流算法进行对比，证明了所提出方法的有效性。

本文所提出的心律失常自动检测模型未来有望应用于临床诊断。随着硬件技术的发展，还可应用于可穿戴设备，实现远程医疗以及医疗机器人等服务。由于目前研究还仅限于MIT-BIH心律失常数据库，部分类型ECG数据来源个体单一，且难以根据患者间模式设计数据增强手段以及分类，导致在其他数据集中表现不佳。随着日后数据库种类与数量的扩展，本模型结构可以进行调整以获得更好的泛化能力，达到理想的实际应用效果。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突

作者贡献声明：刘子龙副教授负责本研究算法的设计与实验指导、研究计划的安排；陈鹏主要负责算法的平台搭建、程序设计、实验数据的记录分析以及论文编写、修订。

伦理声明：本文所用实验数据均来自公开数据库，不涉及伦理问题。

Funding Statement

国家自然科学基金资助项目（61603255）

National Natural Science Foundation of China