Abstract
为解决当前医疗设备维修难等问题，本研究提出一种基于长短时记忆网络（LSTM）的医疗设备故障智能诊断方法。首先，在无电路图纸、未知电路板信号走向情况下，采集 7 种不同故障类别的医疗设备电路板征兆现象及端口电信号两种类别特征，并进行特征编码、归一化以及融合筛选等预处理；其次，基于 LSTM 搭建故障智能诊断模型，使用融合并筛选的多模态特征，进行故障诊断分类识别实验，然后实验结果与使用端口电信号、征兆现象及两种类别特征融合等方式进行故障诊断识别对比；此外，与 BP 神经网络（BPNN）、循环神经网络（RNN）、卷积神经网络（CNN）等算法进行故障诊断性能对比和评估。结果表明：基于融合并筛选的多模态特征，LSTM 算法模型的分类诊断准确率平均达到 0.970 9，较单独利用端口电信号、征兆现象及两种类别特征融合的故障诊断准确率更高；较 BPNN、RNN、CNN 等算法也具有更高的故障诊断准确率，为同类设备的故障智能诊断提供了一种相对可行的新思路。
Keywords: 长短时记忆网络, 故障诊断, 无图纸, 特征融合, 特征筛选
Abstract
In order to solve the current problems in medical equipment maintenance, this study proposed an intelligent fault diagnosis method for medical equipment based on long short term memory network(LSTM). Firstly, in the case of no circuit drawings and unknown circuit board signal direction, the symptom phenomenon and port electrical signal of 7 different fault categories were collected, and the feature coding, normalization, fusion and screening were preprocessed. Then, the intelligent fault diagnosis model was built based on LSTM, and the fused and screened multi-modal features were used to carry out the fault diagnosis classification and identification experiment. The results were compared with those using port electrical signal, symptom phenomenon and the fusion of the two types. In addition, the fault diagnosis algorithm was compared with BP neural network (BPNN), recurrent neural network (RNN) and convolution neural network (CNN). The results show that based on the fused and screened multi-modal features, the average classification accuracy of LSTM algorithm model reaches 0.970 9, which is higher than that of using port electrical signal alone, symptom phenomenon alone or the fusion of the two types. It also has higher accuracy than BPNN, RNN and CNN, which provides a relatively feasible new idea for intelligent fault diagnosis of similar equipment.
Keywords: long short term memory network, fault diagnosis, no circuit drawing, feature fusion, feature screening
引言
医疗设备作为现代医学的重要组成部分，是开展医疗活动的必要条件和重要支撑，一旦发生故障停机，轻则影响诊疗效率，重则威胁医、患安全[1]。因此，如何快速修复故障，保障其可靠运行尤为重要。但现代医疗设备普遍电路设计复杂、技术资料缺乏、维修垄断严重[2]，临床工程师面临不敢修、不会修、不能修的困境[3]。因此，引入新的理论技术、方法策略来指导现代医疗设备故障诊断与维修具有重要现实意义。
近年来，智能故障诊断理论进入人们视角：基于图论、基于专家系统等定性方法[4]，基于模型、基于数据驱动等定量方法逐渐兴起[5]。随着人工智能快速发展和深度学习广泛应用[6]，基于数据驱动的机器学习方法在很多传统诊断分类识别中取得显著效果[7]。其中，深层神经网络模型具有强大学习能力，能通过挖掘学习过往数据、经验中的潜在特征[8]，不断提高训练性能，已在电力[9]、列车[10]、航空[11]等领域的故障诊断分类取得一定进展。但多数神经网络如卷积神经网络（convolutional neural networks，CNN）等是基于目标的空间信息进行处理，在处理时序性特征时将数据视为独立单元，无法充分利用其包含的序列及时间变化[12]。相比之下，长短时记忆网络（long short term memory，LSTM）能够捕获数据序列变化及时间信息[13]，并很好解决梯度消失和梯度爆炸问题[14]，有效提高了故障诊断分类效果。在这方面，王维锋等[15]提出一种基于 LSTM 的故障诊断方法，对齿轮故障进行诊断，准确率达到 0.997 6；de Bruin 等[16]在常用的测量信号基础上，利用 LSTM 来完成铁路线路故障的及时检测和识别，识别率高达 0.997 0，验证了其在故障诊断方面的有效性。受上述研究启发，考虑到医疗设备故障诊断分类与上述领域存在一定相通性，本文基于 LSTM 算法来进行医疗设备故障智能诊断研究。
1. 数据获取
1.1. 研究对象
研究对象为急慢性软组织损伤治疗仪（YDB-Ⅲ，河南天盛光电，中国）（以下简称“治疗仪”），其丰富的功能实现，主要依托于设备内部的控制中枢——主控板来实现，如图 1 所示。
图 1.
The main control board of therapeutic instrument
治疗仪主控板
通过收集或人为设置方法，遴选 30 台具有 6 种常见故障类别（外加 1 种正常状态）的该型设备，并对其故障元器件类别进行标签化处理，如表 1 所示。
表 1. Fault categories.
故障类别
| 故障类别标签 | 0 | 1 | 2 | 3 | 4 | 5 | 6 |
| 故障芯片位置 | 正常 | U4 | U8 | U17 | U16 | U6 | U14 |
本研究在不介入主控板内部的前提下，结合各故障类别对应的征兆现象，连续采集其 7 个外接端口共 45 个可及引脚电信号，并基于征兆现象及端口电信号进行故障智能诊断。具体地，在治疗仪同一工作条件，即处方设置为 3、强度设置为 100 时，搜集记录 7 种故障类别分别对应的征兆现象，并设定采集频率 3 000 Hz[17]，采集时间 1 s，采集 7 种故障类别下端口电信号。为保证数据量充足，克服单板数据的偶然性，在相同外设工作条件下，共采集 30 块主控板数据。
1.2. 征兆现象数据
治疗仪在正常工作时的直观征兆现象包括面板是否有显示、按键是否正常、输出波形形状（需借助示波器）等现象特征。其中“显示”状态分有显示、无显示，包括：① 刺激导入、② TDP 磁振、③ 电源、④ 处方显示、⑤ 强度显示、⑥ 定时显示等 6 个显示位置；“按键”状态分按键有效、按键无效，包括：① 复位、② 急性、③ 电源、④ TDP 磁振、⑤ 处方选择、⑥ 定时、⑦ 强度、⑧ 触发等 8 个按键位置；“输出波形”借助示波器显示，包括：① 密疏波、② 断续波、③ 疏-断续波、④ 无刺激输出等 4 种输出。在主控板上某元器件发生故障时，会有所变化，分别记录各故障类别下的征兆现象，建立相应数据库。
针对征兆现象描述性特征，借鉴自然语言处理中对词进行独热编码[18]的操作，将每个征兆现象所对应描述性特征进行编码，形成征兆现象特征集。具体地，6 个“显示”位置的 2 种状态，8 个“按键”位置的 2 种状态，1 个“输出波形”的 4 个类别征兆现象共编码形成 32 维的特征向量（标记为“X1”～“X32”），各故障类别某时刻的征兆现象编码结果如表 2 所示。
表 2. Feature coding of symptoms.
征兆现象特征编码
| 故障类别标签 | X1 | X2 | X3 | X4 | X5 | X6 | X7 | X8 | X9 | X10 | X11 | X12 | X13 | X14 | X15 | X16 |
| 0 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 |
| 1 | 0 | 1 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 1 |
| 2 | 0 | 1 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 1 |
| 3 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 |
| 4 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 |
| 5 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 |
| 6 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 |
| （续） | ||||||||||||||||
| 故障类别标签 | X17 | X18 | X19 | X20 | X21 | X22 | X23 | X24 | X25 | X26 | X27 | X28 | X29 | X30 | X31 | X32 |
| 0 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 0 | 0 | 1 |
| 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 0 | 0 | 1 |
| 2 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 0 | 0 |
| 3 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 0 | 1 | 0 |
| 4 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 0 |
| 5 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 1 | 0 | 0 | 0 |
| 6 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 1 | 0 | 0 | 0 |
1.3. 端口电信号数据
端口电信号数据采集基于程序开发环境 LabVIEW 2018（NI Inc.，美国），使用数据采集卡 NI USB-6216（NI Inc.，美国）进行，45 个引脚信号依次标记为 V0～V44，详细数据表示如表 3 所示。
表 3. Port electrical signal data.
端口电信号数据
| 故障类别标签 | 端口电信号 |
| 0（正常） | V00、V10、V20······V420、V430、V440 |
| 1（U4 故障） | V01、V11、V21······V421、V431、V441 |
| 2（U8 故障） | V02、V12、V22······V422、V432、V442 |
| 3（U17 故障） | V03、V13、V23······V423、V433、V443 |
| 4（U16 故障） | V04、V14、V24······V424、V434、V444 |
| 5（U6 故障） | V05、V15、V25······V425、V435、V445 |
| 6（U14 故障） | V06、V16、V26······V426、V436、V446 |
以“V32”为例，“C0～C6”7 种故障类别下端口电信号波形如图 2 所示。
图 2.
Port electrical signal of “V32” at seven different categories of fault
主控板七种故障类别下端口电信号“V32”示例
同样的，因 45 个引脚电信号幅值各不相同，差异较大，直接使用原始数据进行网络训练，会突出幅值较高信号的作用，相反的削弱幅值较低信号的作用，使用线性归一化方法[19]分别对各通道信号数据进行标准化预处理，将其统一处理至［0，1］范围内，形成电信号特征集。
1.4. 特征融合及筛选
经编码的征兆现象特征与经归一化预处理的端口电信号特征通过拼接融合，形成融合特征集。
融合后的样本数据集特征维数高达 77，高度冗余。因此，使用基于支持向量机的递归特征消除法（support vector machine-recursive feature elimination，SVM-RFE）来进行特征筛选，使特征数量达到一个理想值[20]，从而达到降低特征维度目的，进而提高训练效果。使用 SVM-RFE 方法筛选出不同数量的特征数（20、30、40、50、60、70、77），通过固定学习率、隐层神经元数目、模型训练次数等参数，依次将其输入初始设定网络，观察记录模型经过一个训练周期的训练时间、准确率等，5 次实验结果如表 4 所示。
表 4. Comparison of training time and classification accuracy under different number of features (
).
不同特征数量下训练用时及分类准确率对比（
）
| 特征数量 | 训练用时/s | 分类准确率 |
| 20 | 10.40 ± 1.673 3 | 0.442 3 ± 0.023 2 |
| 30 | 10.80 ± 0.447 2 | 0.692 0 ± 0.019 5 |
| 40 | 11.00 ± 0.707 1 | 0.816 6 ± 0.039 7 |
| 50 | 11.60 ± 0.894 4 | 0.725 9 ± 0.051 1 |
| 60 | 13.80 ± 1.643 1 | 0.705 3 ± 0.075 3 |
| 70 | 15.40 ± 1.140 2 | 0.667 4 ± 0.142 3 |
| 77 | 18.00 ± 2.000 0 | 0.688 5 ± 0.052 8 |
同时结合特征数量越少越好的原则，得出：当选取权重最大的 40 个维度特征（包括 22 个端口电信号特征、18 个征兆现象编码特征）作为系统输入时，模型诊断效果最好。所筛选出的 40 维特征信号组成的特征集为：
 |
2. 基于 LSTM 的故障诊断模型
2.1. 模型建立
LSTM 独特的门结构使其能够捕获数据序列变化及时间信息，不仅考虑当前时刻的输入，而且赋予网络对之前内容的记忆功能[21]。针对本文的多通道序列电信号数据，LSTM 可以处理同一时刻、多通道数据特征，并结合该时刻前后一段时间各个通道的数据特征，比提取特征空间信息的网络优势更加突出[22]。因此，本文利用研究对象端口电信号以及征兆现象多模态特征，基于 LSTM 网络来搭建故障智能诊断模型。网络模型整体框架如图 3 所示，其中 X1，X2，
，Xn − 1，Xn 表示 n 维的数据特征。
图 3.
Fault diagnosis model of therapeutic instrument’s main board based on LSTM
基于 LSTM 的治疗仪主控板故障诊断模型框架
神经网络模型基本结构框架包括输入层、隐藏层、输出层。本文在此基础上做了相应扩充和改进：输入层方面，为经预处理后的样本特征集；隐藏层方面，采取两层 LSTM 隐藏层的设计，兼顾模型训练效果和效率；引入随机失活层（Dropout）进行处理，在训练过程中将隐藏层的某些神经元按一定概率随机删除，使得全连接网络具有一定稀疏化，从而增强泛化能力，提高网络收敛速度[23]；输出向量进入全连接层（Dense）进行全连接，将每一个结点与上一层所有结点相连接，实现特征的非线性组合；鉴于本文的多分类属性（7 个类别），输出层选用多分类器（Softmax），输出一个与预定义类别维数相等的向量[24]，得到分类识别结果，即预测值。再将此结果传入网络优化模块，调节性能参数，不断优化网络模型，使模型分类效果达到最优[25]。
本文选择的目标函数为交叉熵损失函数，其刻画的是模型实际输出概率与理论输出概率分布的距离和差异，值越小，表示两概率分布差异越小，分类结果越好[26]。交叉熵损失函数可表示为式（1）所示：
 |
1 |
其中，yi 表示期望输出的概率分布，
表示模型当前实际输出的概率分布，L 表示交叉熵损失函数，也即目标函数。模型的参数反向输入，通过梯度下降优化算法对其进行更新和调整、反馈调节，从而实现模型优化。
2.2. 模型评价
本文除使用准确率（accuracy，Acc）（以符号 Acc 表示）来评价模型分类性能以外，还采用查准率（precision，P）（以符号 P 表示）、查全率（recall，R）（以符号 R 表示）、F1 分数（F1-score，F1）（以符号 F1 表示）、接收者操作特征曲线下面积（area under curve，AUC）（以符号 AUC 表示）、混淆矩阵等来对诊断效果进行辅助评价。其中准确率表示模型预测正确的样本数占样本总数的比例，各指标具体定义公式如式（2）～式（5）所示：
 |
2 |
 |
3 |
 |
4 |
 |
5 |
其中，真阳性（true positive，TP）（以符号 TP 表示）表示预测为正，实际也是正的样本数；假阳性（false positive，FP）（以符号 FP 表示）表示预测为正，实际是负的样本数；真阴性（true negative，TN）（以符号 TN 表示）表示预测为负，实际也是负的样本数；假阴性（false negative，FN）（以符号 FN 表示）表示预测为负，实际是正的样本数[27]。
3. 实验与分析
本文基于机器学习平台 Tensorflow（Google Inc.，美国），采用计算机编程语言 Python3.6.8 构建网络模型。计算机环境为：中央处理器（central processing unit，CPU）（Xeon（R）E5-2640 v4 @ 2.4GHz @ 3.4 GHz，Intel，美国）。
3.1. 模型训练参数设置
将融合并筛选的特征集以每 300 个连续采集点划分为一个样本，实验所采集的 30 组共 630 000 个数据点共划分为 2 100 个样本。样本乱序后进行训练集、验证集和测试集划分，比例为 4∶1∶1，样本量分别为 1 400 个、350 个和 350 个。为获得良好的网络模型训练效果，在文献调研基础上，结合反复多次性能分析与参数调试的实验结果，本文算法模型主要训练参数设置情况如表 5 所示[16, 21, 28]。
表 5. Parameters of the fault diagnosis model.
模型参数选取情况
| 参数 | 学习率 | 隐层神经元数 | 批大小 | 随机失活率 | 训练轮次 |
| 值 | 0.001 | 40 | 64 | 0.2 | 50 |
同时，模型引入早停机制（early stopping）[29]来适时终止模型的训练，以提高其泛化能力。
3.2. 实验结果与分析
模型训练过程的损失值及准确率随训练次数的变化情况如图 4 所示。
图 4.
Loss and accuracy on training and validation data
分类损失值及准确率变化曲线
由图 4 可以看出，经过不到 50 次训练，模型达到相对稳定。该模型对测试集分类诊断结果混淆矩阵如表 6 所示，7 类故障诊断具体结果如表 7 所示。
表 6. Fault diagnosis classification confusion matrix of test set.
测试集故障诊断分类混淆矩阵
| 真实故障 类别/个 |
模型诊断故障类别/个 | |||||||
| C0 | C1 | C2 | C3 | C4 | C5 | C6 | 合计 | |
| C0 | 44 | 0 | 0 | 0 | 0 | 0 | 0 | 44 |
| C1 | 0 | 48 | 0 | 0 | 0 | 0 | 0 | 48 |
| C2 | 0 | 0 | 56 | 0 | 0 | 0 | 0 | 56 |
| C3 | 0 | 0 | 0 | 49 | 0 | 0 | 0 | 49 |
| C4 | 0 | 0 | 0 | 2 | 44 | 3 | 0 | 49 |
| C5 | 0 | 0 | 0 | 0 | 0 | 55 | 0 | 55 |
| C6 | 3 | 0 | 0 | 0 | 2 | 0 | 44 | 49 |
| 合计 | 47 | 48 | 56 | 51 | 46 | 58 | 44 | 350 |
表 7. Classification results of fault diagnosis.
故障诊断分类结果
| 故障类别 标签 |
查准率 | 查全率 | F1 分数 | 接收者操作特征 曲线下面积 |
| 0 | 0.936 2 | 1.000 0 | 0.967 0 | 1.000 0 |
| 1 | 1.000 0 | 1.000 0 | 1.000 0 | 1.000 0 |
| 2 | 1.000 0 | 1.000 0 | 1.000 0 | 1.000 0 |
| 3 | 0.960 8 | 1.000 0 | 0.980 0 | 1.000 0 |
| 4 | 0.956 5 | 0.898 0 | 0.926 3 | 0.980 0 |
| 5 | 0.948 3 | 1.000 0 | 0.973 5 | 1.000 0 |
| 6 | 1.000 0 | 0.898 0 | 0.946 3 | 0.980 0 |
| 均值 | 0.971 7 | 0.970 9 | 0.970 4 | 0.994 3 |
由表 6、表 7 可知，使用融合并筛选的多模态特征，基于 LSTM 模型对测试集的故障诊断分类查准率为 0.971 7、查全率为 0.970 9、F1 分数为 0.970 4、接收者操作特征曲线下面积为 0.994 3。为验证多特征融合并筛选方法在故障诊断中的有效性，本文分别基于端口电信号、征兆现象、两种类别特征融合、融合并筛选等四种基础特征，在同一测试条件、不改变参数情况下，进行 5 次重复实验，结果如表 8 所示。
表 8. Comparison of accuracy on different features (
).
不同特征下诊断准确率对比（
）
| 特征 | 准确率 |
| 端口电信号 | 0.886 8 ± 0.011 7 |
| 征兆现象 | 0.721 1 ± 0.013 6 |
| 特征融合 | 0.911 5 ± 0.007 6 |
| 特征融合并筛选 | 0.970 9 ± 0.002 4 |
为对比本文算法与当前主流的故障智能诊断方法的优劣，本文基于融合并筛选特征，将其与 BP 神经网络（back propagation neural network，BPNN）、循环神经网络（recurrent neural network，RNN）、CNN 等算法进行了对比实验。三种方法参数设置分别为：① BPNN：采用 2 层隐藏层结构，各隐层神经元个数分别为 40、20，学习率设定为 0.001；② RNN：采取与本文方法类似的网络模型结构，包含 2 个隐藏层，各隐层神经元个数分别为 40、20，1 个池化层及 1 个全连接层，激活函数采用修正线性单元（rectified linear unit，ReLU），学习率设定为 0.001；③ CNN：同样的，包含 2 个隐藏层，各隐层神经元个数分别为 40、20，1 个池化层及 1 个全连接层，激活函数采用 ReLU 函数，学习率设定为 0.001；5 次实验结果如图 5 所示。
图 5.
Comparison of accuracy of different methods
不同算法诊断准确率对比
由表 8 可知：基于融合并筛选的特征，使用 LSTM 算法模型对治疗仪主控板进行故障诊断分类，模型诊断准确率平均达到 0.970 9，比单独使用端口电信号特征、征兆现象特征及融合特征平均分别高出 0.084 1、0.249 8、0.059 4；由图 5 可知：基于融合并筛选特征，使用 LSTM 算法模型对治疗仪主控板进行故障诊断分类，准确率平均达到 0.970 9，比 BPNN、RNN、CNN 平均分别高出 0.125 7、0.047 1、0.005 7，验证了本文设计的 LSTM 算法模型在治疗仪主控板常规故障的智能诊断方面的有效性。
4. 结论
本文立足于传统维修技术与方法难以适应现代维修的现状，在未知电路图纸、未知电路板信号走向情况下获取医疗设备电路板不同故障类别下端口时序性电信号及对应征兆现象，经过特征预处理、多模态融合、特征筛选并整理划分数据特征集，通过构建 LSTM 算法模型并训练、预测，探索对故障进行智能诊断分类的新方法。
本文通过对模型的评估以及试验分析对比，结果证明了 LSTM 在具有时序性问题上优越的处理能力，可达到更好的诊断分类效果，有效提高故障诊断准确率，平均达到 0.970 9。以上分析表明，本文研究结果可为医疗设备电路板故障诊断与维修提供新的思路。下一步，将引入更多故障类别，或根据情况设定复合故障，增大数据来源，进一步训练和改善网络模型，提高其分类识别准确率及泛化能力，同时结合实际需要，开发在线智能故障诊断系统，实现故障的实时在线诊断，并将该方法迁移应用到其他医疗设备，提高其鲁棒性及适用范围。
利益冲突声明：本文全体作者均声明不存在利益冲突。
Funding Statement
国家重点研发计划项目（2016YFC0103100）；军队卫勤专项资助项目（20WQ005）
References
- 1.Perry L, Malkin R. Effectiveness of medical equipment donations to improve health systems: how much medical equipment is broken in the developing world?. Med Biol Eng Comput, 2011, 49(7): 719-722.
- 2.种银保. 临床工程师规范化培训教程. 北京: 科学出版社, 2017: 24-27.
- 3.Webber C M, Martínez-Gálvez G, Higuita M L, et al Developing strategies for sustainable medical equipment maintenance in under-resourced settings. Ann Glob Health. 2020;86(1):39. doi: 10.5334/aogh.2584. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 4.周东华, 胡艳艳 动态系统的故障诊断技术. 自动化学报. 2009;35(6):748–758. [Google Scholar]
- 5.潘海洋, 郑近德, 杨宇, 等 基于 CELCD 和 MFVPMCD 的智能故障诊断方法研究. 电子学报. 2017;45(3):546–551. [Google Scholar]
- 6.Deng L, Yu D Deep learning: methods and applications. Foundations & Trends in Signal Processing. 2014;7(3):197–387. [Google Scholar]
- 7.陈伟宏, 安吉尧, 李仁发, 等 深度学习认知计算综述. 自动化学报. 2017;43(11):1886–1897. [Google Scholar]
- 8.Schmidhuber J. Deep learning in neural networks. Amsterdam: Elsevier Science Ltd, 2015.
- 9.周念成, 廖建权, 王强钢, 等 深度学习在智能电网中的应用现状分析与展望. 电力系统自动化. 2019;43(4):180–191. [Google Scholar]
- 10.上官伟, 孟月月, 杨嘉明, 等 基于 LSTM-BP 级联网络的列控车载设备故障诊断. 北京交通大学学报. 2019;43(1):54–62. [Google Scholar]
- 11.Huang Y Q The research on aero-engine gas path fault diagnosis by genetic algorithm-BP neural network. Machine Tool & Hydraulics. 2015;43(18):31–36. [Google Scholar]
- 12.Guo X, Chen L, Shen C Hierarchical adaptive deep convolution neural network and its application to bearing fault diagnosis. Measurement. 2016;93(7):490–502. [Google Scholar]
- 13.Felix A G, Schmidhuber J, Cummins F Learning to forget: continual prediction with LSTM. Neural Comput. 2000;12(10):2451–2471. doi: 10.1162/089976600300015015. [DOI] [PubMed] [Google Scholar]
- 14.Wang Weifeng, Qiu Xuehuan, Chen Caisen, et al. Application research on long short-term memory network in fault diagnosis//2018 International Conference on Machine Learning and Cybernetics (ICMLC), Chengdu: IEEE, 2018: 360-365.
- 15.王维锋, 邱雪欢, 孙剑桥, 等 基于双层长短时记忆网络的齿轮故障诊断方法. 装甲兵工程学院学报. 2018;32(2):81–85. [Google Scholar]
- 16.de Bruin T, Verbert K, Babuska R Railway track circuit fault diagnosis using recurrent neural networks. IEEE Trans Neural Netw Learn Syst. 2017;28(3):523–533. doi: 10.1109/TNNLS.2016.2551940. [DOI] [PubMed] [Google Scholar]
- 17.刘香君, 种银保, 肖晶晶, 等 基于数据驱动的设备电路板无图纸故障诊断. 中国医学物理学杂志. 2020;37(8):1047–1052. [Google Scholar]
- 18.Ma Yixuan, Zhang Zhenji Travel mode choice prediction using deep neural networks with entity embeddings. IEEE Access. 2020;8:64959–64970. doi: 10.1109/ACCESS.2020.2985542. [DOI] [Google Scholar]
- 19.宋勇, 蔡志平 大数据环境下基于信息论的入侵检测数据归一化方法. 武汉大学学报: 理学版. 2018;64(2):121–126. [Google Scholar]
- 20.Wang Xi, Li Qiang, Xie Zhihong New Feature Selection Method Based on SVM-RFE. Advanced Materials Research. 2014;926-930:3100–3104. doi: 10.4028/www.scientific.net/AMR.926-930.3100. [DOI] [Google Scholar]
- 21.Graves A Supervised Sequence Labelling with Recurrent Neural Networks. Berlin, Heidelberg: Springer. 2012 [Google Scholar]
- 22.杨丽, 吴雨茜, 王俊丽, 等 循环神经网络研究综述. 计算机应用. 2018;38(s2):1–6, 26. [Google Scholar]
- 23.Krizhevsky A, Sutskever I, Hinton G E ImageNet classification with deep convolutional neural networks. International Conference on Neural Information Processing Systems. 2012;1:1097–1105. [Google Scholar]
- 24.Torfi A, Iranmanesh S M, Nasrabadi N, et al 3D convolutional neural networks for cross audio-visual matching recognition. IEEE Access. 2017;5:22081–22091. doi: 10.1109/ACCESS.2017.2761539. [DOI] [Google Scholar]
- 25.Li W, Meng Y. Improving the performance of neural networks with random forest in detecting network intrusions//The 10th International Symposium on Neural Networks (ISNN), 2013, 7952: 622-629.
- 26.叶靖雯, 吴晓峰 端到端深度图像分割网络中抑制无效率学习的目标损失函数设计. 微电子学与计算机. 2019;36(9):38–43. [Google Scholar]
- 27.Hasnain M, Pasha M F, Ghani I, et al Evaluating trust prediction and confusion matrix measures for web services ranking. IEEE Access. 2020;8:90847–90861. doi: 10.1109/ACCESS.2020.2994222. [DOI] [Google Scholar]
- 28.Pascanu R, Mikolov T, Bengio Y. On the difficulty of training recurrent neural networks//30th International Conference on Machine Learning (ICML'13), Atlanta: International Machine Learning Society (IMLS), 2013, 28(3): 1310-1318.
- 29.Yao Yuan, Rosasco L, Caponnetto A On early stopping in gradient descent learning. Constr Approx. 2007;26(2):289–315. doi: 10.1007/s00365-006-0663-2. [DOI] [Google Scholar]