Abstract
本文采用脉搏波信号研究了警觉度的变化规律。本研究共招募 10 名受试者参加了持续 95 min 的警觉度“时钟测试”（MCT）。试验过程中，受试者们通过卡罗林斯卡嗜睡量表（KSS）和斯坦福嗜睡量表（SSS）主观评价了清醒程度，同时记录了所有受试者的目标反应时间、目标识别正确率和脉搏波信号。结果表明，根据主观量表得分和受试者的行为学数据可以将警觉度定标为 3 个水平：前 30 min 为高警觉度水平；中间 30 min 为一般警觉度水平，后 30 min 为低警觉度水平。此外，脉搏波信号的时域特征，如：次级波峰幅值、波峰幅值、次级波峰潜伏期，随警觉度的降低而减小，而波谷幅值随警觉度的降低而增大；频域特征：8.600～9.375 Hz、11.720～12.500 Hz、38.280～39.060 Hz 和 39.060～39.840 Hz 这 4 个子频带的能量概率也随警觉度的降低而减小。最后，在上述 8 个特征建立的模型中，10 名受试者三分类正确率的平均值高达 88.7%。本文的研究结果证实了脉搏波在警觉度评估上的可行性，为警觉度的实时监测提供了新的思路。
Keywords: 警觉度, 脉搏波, 支持向量机, 小波包分解
Abstract
This paper studied the rule for the change of vigilance based on pulse wave. 10 participants were recruited in a 95-minute Mackworth clock test (MCT) experiment. During the experiment, the vigilance of all participants were evaluated by Karolinska sleepiness scale (KSS) and Stanford sleepiness scale (SSS), and behavior data (the reaction time and the accuracy of target) and pulse wave signal of the participants were recorded simultaneously. The result indicated that vigilance of the participants can be divided into 3 classes: the first 30 minutes for high vigilance level, the middle 30 minutes for general vigilance level, and the last 30 minutes for low vigilance level. Besides, time domain features such as amplitude of secondary peak, amplitude of peak and the latency of secondary peak decreased with the decrease of vigilance, while the amplitude of troughs increased. In terms of frequency domain features, the energy of 4 frequency band including 8.600 ~ 9.375 Hz, 11.720 ~ 12.500 Hz, 38.280 ~ 39.060 Hz and 39.060 ~ 39.840 Hz decreased with the decrease of vigilance. Finally, under the recognition model established by the 8 characteristics mentioned above, the average accuracy of three-classification results over the 10 participants was as high as 88.7%. The results of this study confirmed the feasibility of pulse wave in the evaluation of vigilance, and provided a new way for the real-time monitoring of vigilance.
Keywords: vigilance, pulse wave, support vector machine, wavelet packet decomposition
引言
在心理学领域，警觉度被定义为生物体保持长时间注意力和对应急事件反应的能力[1]。对一些特殊任务而言，操作者的警觉度水平对任务的顺利完成起着决定性作用。甚至于操作者的警觉度过低可能会酿成难以挽回的恶果，例如长途汽车驾驶员、实施重大手术的外科医生以及执行载人航天任务的航天员等[2]。因此，针对警觉度的检测研究具有十分重要的意义。
第二次世界大战期间，Mackworth[3]设计的“时钟测试”（Mackworth clock test，MCT）试验拉开了警觉度研究的序幕。该试验通过模拟机载雷达和声呐操作员对敌人出现微弱信号的敏感程度，以记录受试者对目标的反应时间和目标识别正确率的方式来评价受试者的警觉度水平。经过 70 余年的发展，警觉度的研究不断深入，目前常用的警觉度检测手段主要有：主观检测[卡罗林斯卡嗜睡量表（Karolinska sleepiness scale，KSS）和斯坦福嗜睡测试量表（Stanford sleepiness scale，SSS）][4-5]；生理参数（脑电信号、心电信号以及脑血氧溶度等）检测以及其他检测方法。在众多检测方法中，生理参数法最为客观有效，也是警觉度研究最为成熟的检测方法之一。
目前，相对成熟的警觉度检测生理参数主要有：脑电信号、心电信号以及大脑血氧溶度。举例来说，Åkerstedt 等[6]的研究认为脑电功率谱中的 δ 频段（0.5～4.0 Hz）、θ 频段（4.0～8.0 Hz）、α 频段（8.0～12.0 Hz）和 β 频段（12.0～30.0 Hz）都可以用来检测驾驶员的持久注意力水平。除了功率，薛然婷等[7]和赵云龙等[8]的研究分别指出，脑电信号的复杂度以及排列熵能够作为警觉度的度量指标。此外，一些研究指出心电信号也能够反映警觉度的相关变化。Yu 等[9]的研究发现，心电图 R 波信号能够有效区分睡眠和清醒两种状态；赵晓华等[10]的研究指出，随着驾驶时间的增加，驾驶员警觉度下降、心率下降，并且 RR 间期标准差也随之变大。近年来兴起的功能性近红外技术也可用于警觉度检测的研究，Bogler 等[11]的研究发现，可以通过该技术采集大脑血氧溶度对试验中的反应时间建模，该研究还验证了在任务执行过程中，右脑的生理参数变化较左脑变化更为敏感[12-13]。
除了上述生理参数之外，也有研究指出，脉搏波信号能够有效应用于区分睡眠、清醒两种状态。文献[14]通过脉搏波信号功率谱中低频能量与高频能量的比值进行清醒、睡眠状态分类，得到了很好的识别效果。文献[15]也指出，脉搏波信号的主波、重波幅值与脉搏波传导时间在清醒、睡眠两种状态下表现出了明显的差异。然而，已有的脉搏波研究也仅限于区分睡眠、清醒两种状态，在诸如 MCT 等典型警觉度任务中研究脉搏波各特征变化规律的相关研究还未见报道。因此，本研究的目的在于：从时域和频域特征着手，系统性地研究脉搏波用于警觉度检测的可行性，并从行为学数据和脉搏波生理数据两个层面分析受试者在 MCT 任务下，各时域、频域特征的变化规律。
1. 试验设计
1.1. 受试者与试验环境
本试验一共招募 10 名年龄在 19～28 岁（23.7 ± 2.9 岁）的志愿者，均为男性。所有受试者均为右利手，身体健康、无任何神经疾病，并且都具有正常或者校正到正常的视觉能力。所有受试者在试验过程中均使用相同的设备。
本试验使用无线蓝牙多参数生物反馈仪（Mobi6，TMSI，荷兰）来采集脉搏波信号。该设备通过佩戴在左手小指上的光电传感器采集脉搏波信号。信号采样频率设置为 512 Hz，设备内置带通滤波器，带通滤波器的频带范围设定为 0.05～200.00 Hz。试验在一个安静、温度适宜的房间进行。试验开始后，受试者被要求以最舒服的姿势静坐，并尽量减少眼睛和其他任何肢体动作。
1.2. 试验流程
试验要求受试者在试验开始前一天要正常休息，试验当天不能进行剧烈体力或者脑力劳动。整个试验持续时间为 95 min 左右，试验一旦开始之后，中途不得退出。试验环境中无钟表，保证受试者不知道当前时间。试验流程如图 1 所示，最开始的 5 min 用来采集受试者静息状态信号，在该阶段中要求受试者静坐，尽量减少脑力活动。紧接着，连续的 3 个时间段内受试者都执行相同的 MCT 任务，每段时长均为 30 min。在每次 MCT 任务开始之前，都要求受试者填写主观评测量表，任务结束后再填写一次，共计 4 次。并且在试验开始前，受试者均已尽量熟悉主观量表，试验过程中填写量表的时间影响可以忽略不计。
图 1.
Experiment procedure
试验流程图
1.2.1. MCT 试验
MCT 是一个专门用于研究警觉度变化的试验[3]。在该试验中，一指针围绕一个无参考点的表盘以固定角度和频率跳动，在不定时刻，指针会跳跃较大角度，该事件被称之为目标事件。试验中要求受试者识别出该目标事件，并对之做出给定的反应。本试验的 MCT 任务界面如图 2 所示，试验中红色小球即为指针，每秒跳动圆盘上的一格，在不定时刻小球一次跳动两格即为目标事件。本试验中，目标事件出现时间间隔服从 3～26 s 之间的均匀分布，每 30 min 试验包含目标刺激 120 个，整个试验过程中包含目标刺激 360 个。当目标事件出现时，要求受试者尽快按下空格键作为反应，试验全程记录受试者的目标反应时间并计算目标反应正确率。该任务在商用数学软件 Matlab 2014a（MathWorksinc.，美国）环境下实现。
图 2.
The diagram of MCT task
MCT 任务示意图
1.2.2. 主观量表测评
试验中每隔 30 min 要求受试者填写 KSS 量表和 SSS 量表评价自身当前警觉度状态。这两张主观评测量表是警觉度主观自评的标准量表。KSS 量表评分为 1～9 分，分别对应极度清醒和非常困倦。SSS 量表评分 1～7 分，分别对应意识非常清醒和意识非常朦胧。最大和最小值之间的得分表明受试者处于极度清醒和非常困倦之间的某个状态。这两张量表得分越高表明受试者警觉度越低。
2. 数据处理方法
2.1. 预处理
脉搏波信号有效频带在 0～20 Hz 之间，大部分能量分布在 0～10 Hz 之间[16]。由于脉搏波信号比较微弱，而且容易受到受试者轻微运动和工频噪声等干扰，因此在提取脉搏波相关特征时需要先对脉搏波信号进行预处理，滤除各种噪声。试验数据预处理主要包括以下几个步骤：首先，将源信号采样频率由原来的 512 Hz 降低到 100 Hz，减少数据量的同时也方便后续数据处理过程；其次，以信号中每个点周边 5 个点的平均值代替该点，对信号进行平滑处理；然后，对信号进行 0.5～40.0 Hz 的带通滤波；最后，根据目标刺激的位置将数据分段，每一小段数据时间跨度为–2～8 s（以目标刺激开始时刻为参考）。
2.2. 特征提取
2.2.1. 时域特征
本研究中提取的脉搏波时域特征主要有波谷幅值、波峰幅值以及次级波峰幅值。除此之外还有波谷间期、波峰间期、次级波峰间期和波峰潜伏期、次级波峰潜伏期以及次级波峰与波峰之间间隔时间这 9 个特征。如图 3 所示，黑色星号、红色圆圈和绿色三角形对应的波形分别为波谷、波峰和次级波峰。两个相邻的波谷之间的时间差距为波谷间期，而波峰间期与次级波峰间期定义类似。从波谷到相邻波峰之间的时间差定义为波峰潜伏期；波谷到次级波峰之间的时间差定义为次级波峰潜伏期。每个目标刺激数据段跨度–2～8 s（以目标刺激开始时刻为参考）内数据的全部特征平均值作为一个样本。
图 3.
Features of pulse wavein time domain
脉搏波的时域特征
2.2.2. 基于小波包变换的频域特征
小波包变换可以将源信号分解成频率成分固定的若干成分，分解层数越大，则信号频率分辨率就越高[17]。本研究中脉搏波信号的采样频率 100 Hz，对应的信号实际频带为 0～50 Hz。对去噪后的信号采用 Daubechies 3 小波基进行 6 层小波包分解，信号被对应分解为 64 个子频带，每个子频带宽度为 50/64 = 0.78 Hz。定义某一频带能量为该频段下小波系数的平方和，即：
 |
1 |
式（1）中，I 为小波包分解层数，N 为每层小波系数个数，Ci（k）为第 i 层小波的第 k 个系数。整个信号的总能量定义为 Etotal，如式（2）所示：
 |
2 |
则频带 i 占总能量的比例以 Pi 表示，公式为：
 |
3 |
经小波包分解后，将 64 个子频带的能量概率 Pi 作为脉搏波的频域特征。
2.3. 基于可分性选择特征
上述分析指出时域、频域特征一共近 73 个，为了获得更好的分类效果，必须对特征进行有效筛选。特征筛选可以根据可分性的大小进行，而可分性是一个描述两个类别特征之间差异大小的变量，通常用 r 2 来表示，如式（4）所示：
 |
4 |
其中，M1 和 M2 分别是类别 1 和类别 2 信号的样本大小，X1 和 X2 分别为类别 1 和类别 2 的特征向量。本研究中，警觉度被定标为高、中、低三个等级，对应的三分类可分性可以用类别 1 与类别 2、类别 2 与类别 3 以及类别 3 与类别 1 可分性的平均值来表示。
本研究中可分性最大的前 8 个特征依次是次级波峰幅值、波峰幅值、次级波峰潜伏期、波谷幅值、第 12 层子频带（8.600～9.375 Hz）、第 15 层子频带（11.720～12.500 Hz）、第 50 层子频带（38.280～39.060 Hz）和第 51 层子频带（39.060～39.840 Hz）能量概率。所以，这 8 个特征被挑选出来，并采用支持向量机（support vector machine，SVM）进行分类识别。由于整个 MCT 试验过程中包含目标刺激 360 个，所以所有样本中的 5/6（300 个样本）用来训练分类器，1/6（60 个样本）用来进行测试，训练样本和测试样本中高、中、低三个警觉度类别的样本个数相同。
2.4. 统计分析方法
本文采用了基于自主抽样法（bootstrap method）的配对 t 检验统计方法，分析不同试验阶段下受试者的主观评分、目标反应时间以及目标反应正确率之间的差异。作为由 Efron 等[18]开发的一种新的统计学分析方法，自主抽样分析的实现不依赖于样本是否服从正态分布，这也是该分析方法相比于传统的配对检验和方差分析最大的优势所在。具体说来，自主抽样法通过对已有的源样本多次进行重采样（通常迭代次数为 1 000 次左右），并以此来估计样本的分布。因此，可以根据所得的分布确定置信区间，进而判断不同模式下的结果差异是否具有统计学意义。此外，当数据进行多次比较的时候，可以采用错误发现率（false discovery rate，FDR）校正方式对结果进行校正。
3. 试验结果
3.1. 数据标注
本文目的在于验证脉搏波研究警觉度的可行性，因此首先要对采集到的脉搏波信号进行标注，作为 SVM 分类算法的先验条件。本研究中，脉搏波信号标注的依据来源于两部分：主观量表评分和受试者的行为学数据（目标反应时间以及目标反应正确率）。
3.1.1. 主观量表结果
如图 4 所示的是 10 名受试者 KSS 和 SSS 量表得分的平均值，每名受试者都填写主观量表 4 次，填写时刻如前文 1.2 小节中试验流程所描述。为了对比量表得分的差异，研究中采用基于自主抽样法的配对样本 t 检验进行统计分析。由图 4 可以看出，随着 MCT 任务的持续，受试者们的 KSS 量表和 SSS 得分都逐渐增大。t 检验的分析结果也表明，相邻试验阶段的主观量表得分之间存在的差异均具有统计学意义。
图 4.
Scores of KSS and SSS
KSS 与 SSS 量表得分
*P < 0.05, ** P < 0.01
*P < 0.05，** P < 0.01
3.1.2. MCT 目标反应时间与目标反应正确率
本研究统计了受试者对所有目标的反应时间以及目标反应正确率，所有受试者的平均结果如图 5 所示，第一阶段、第二阶段、第三阶段分别指试验开始后的前面 30 min、中间 30 min、最后 30 min 这三个试验阶段所记录的数据。由图 5 可以看出，随着 MCT 任务的持续，受试者的对目标进行反应的时间增加，目标刺激反应正确率下降。t 检验的分析结果也表明，相邻时间段内受试者们的行为学结果存在的差异均有统计学意义。
图 5.
Reaction time and accuracy of target
目标反应时间与目标反应正确率
*P < 0.05, ** P < 0.01
*P < 0.05，** P < 0.01
综合主观量表与行为学数据的结果，可以得出如下结论：随着 MCT 任务的持续进行，受试者们的警觉度不断下降。进一步论证了根据试验的三个阶段将采集到的脉搏波信号进行如下标注是合理的：前 30 min 信号对应高警觉度水平下数据、中间 30 min 对应一般警觉度水平下数据、最后 30 min 对应低警觉度水平下数据。
3.2. SVM 分类结果
如前文 3.1 小节描述，将脉搏波信号标注后，提取前文 2.3 小节指出的次级波峰幅值、波峰幅值、次级波峰潜伏期、波谷幅值、第 12 层子频带（8.600～9.375 Hz）、第 15 层子频带（11.720～12.500 Hz）、第 50 层子频带（38.280～39.060 Hz）和第 51 层子频带（39.060～39.840 Hz）能量概率这 8 个特征，采用 SVM 进行高、中、低三个警觉度的三分类识别分析，结果如表 1 所示。10 名受试者的三分类平均正确率达到了 88.7%，其中 7 人在 85% 以上，1 人识别正确率达到了 100%。
表 1. Classification accuracy of three-classes.
受试者警觉度的三分类正确率
| 受试者编号 | 三分类正确率 |
| S1 | 81.7% |
| S2 | 98.3% |
| S3 | 73.3% |
| S4 | 83.3% |
| S5 | 90.0% |
| S6 | 86.7% |
| S7 | 98.3% |
| S8 | 100% |
| S9 | 85.0% |
| S10 | 87.7% |
| 平均值 | 88.7% |
3.3. 特征变化
如图 6 所示的是本文用于进行分类识别的 8 个脉搏波特征随 MCT 任务进行发生变化的结果。整个试验中一共有 360 个目标刺激，即样本数为 360。图 6 中所有子图横坐标都表示目标刺激编号，可以理解为时间。图 6 左半部分显示的是脉搏波时域特征的变化规律，右半部分显示的是频域特征的变化规律。能量概率 P12、能量概率 P15、能量概率 P50、能量概率 P51 分别指的是第 12、15、50、51 层子频带能量占信号总能量的概率。从图 6 可以得出结论：从时域特征来看，随着警觉度的降低，脉搏波的次级波峰幅值、波峰幅值、次级波峰潜伏期均减少；而波谷幅值呈现增大趋势。从频域特征来看，第 12 层子频带（8.600～9.375 Hz）、第 15 层子频带（11.720～12.500 Hz）、第 50 层子频带（38.280～39.060 Hz）和第 51 层子频带（39.060～39.840 Hz）的能量概率都随警觉度的降低而降低。
图 6.
The change of features with time
各特征随时间变化趋势
4. 结果与讨论
警觉度的检测在交通、飞行调度乃至载人航天等多个领域都具有重大的研究意义。本研究通过设计警觉度诱发下降试验 MCT 任务，从时、频域两个角度系统研究了脉搏波评估警觉度的可行性，并通过受试者的主观量表和行为学数据的结果分别从主观和客观两个角度论证了随着 MCT 试验的持续，受试者的警觉度慢慢降低的结果。本文研究显示，SVM 三分类的结果高达 88.7%，这也表明将警觉度按照试验时间划分成高、中、低三个水平是科学而有效的。
用以建模的脉搏波信号包括次级波峰幅值、波峰幅值、次级波峰潜伏期、波谷幅值、第 12 层子频带（8.600～9.375 Hz）、第 15 层子频带（11.720～12.500 Hz）、第 50 层子频带（38.280～39.060 Hz）和第 51 层子频带（39.060～39.840 Hz）能量概率这 8 个特征。进一步的研究表明，这些特征中的波峰幅值、次级波峰幅值随警觉度的下降逐渐降低，与前人的相关研究结论一致[15]。本研究还得出了次级波峰潜伏期也随警觉度的下降而降低，波谷幅值随警觉度的下降而增大的结果。此外，本研究从小波包分解的角度，以 0.78 Hz 频率分辨率研究了脉搏波各子频带随警觉度的变化规律，结果发现第 12 层子频带（8.600～9.375 Hz）、第 15 层子频带（11.720～12.500 Hz）、第 50 层子频带（38.280～39.060 Hz）和第 51 层子频带（39.060～39.840 Hz）能量概率随警觉度的降低而降低。
总结起来，本研究高、中、低警觉度的三分类结果高达 88.7%，证实了脉搏波信号检测警觉度的可行性。此外，脉搏波信号中的次级波峰等时、频域共 8 个特征都是警觉度检测的敏感特征。相比于脑电、近红外等信号，脉搏波信号的采集更为便捷，数据容量更小，从警觉度实时检测实现的角度上来看，脉搏波优势明显，更具应用前景。
Funding Statement
国家自然科学基金（81671861）
References
- 1.Warm J S, Parasuraman R, Matthews G Vigilance requires hard mental work and is stressful. Hum Factors. 2008;50(3):433–441. doi: 10.1518/001872008X312152. [DOI] [PubMed] [Google Scholar]
- 2.周鹏, 张翼, 李向新, 等 大脑警觉度检测的研究现状与进展. 生物医学工程学杂志. 2012;29(3):574–578. [PubMed] [Google Scholar]
- 3.Mackworth N H The breakdown of vigilance during prolonged visual search. Q J Exp Psychol. 1948;1(1):6–21. [Google Scholar]
- 4.Axelsson J, Kecklund G, Åkerstedt T, et al Sleepiness and performance in response to repeated sleep restriction and subsequent recovery during semi-laboratory conditions. Chronobiol Int. 2008;25(2/3):297–308. doi: 10.1080/07420520802107031. [DOI] [PubMed] [Google Scholar]
- 5.Horne J A, Burley C V We know when we are sleepy: subjective versus objective measurements of moderate sleepiness in healthy adults. Biol Psychol. 2010;83(3):266–268. doi: 10.1016/j.biopsycho.2009.12.011. [DOI] [PubMed] [Google Scholar]
- 6.1991;14(3):221–225. [Google Scholar]
- 7.薛然婷, 周鹏, 高翔, 等 睡眠剥夺下警觉度变化的非线性研究. 生物医学工程学杂志. 2014;31(3):507–510. [Google Scholar]
- 8.赵云龙, 王学民, 薛然婷, 等 基于复杂性度量的大脑警觉度分析. 生物医学工程学杂志. 2015;32(4):725–729. [PubMed] [Google Scholar]
- 9.Yu S, Wang B, Wang Y, et al Feature extraction of vigilance level based on heart rate variability of electrocardiogram//4th International Conference on. IEEE. 2011;2:753–756. [Google Scholar]
- 10.赵晓华, 房瑞雪, 荣建, 等 基于生理信号的驾驶疲劳综合评价方法试验研究. 北京工业大学学报. 2011;37(10):1511–1516, 1523. [Google Scholar]
- 11.Bogler C, Mehnert J, Steinbrink J, et al Decoding vigilance with NIRS. PLoS One. 2014;9(7):e101729. doi: 10.1371/journal.pone.0101729. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 12.De Joux N, Russell P N, Helton W S A functional near-infrared spectroscopy study of sustained attention to local and global target features. Brain Cogn. 2013;81(3):370–375. doi: 10.1016/j.bandc.2012.12.003. [DOI] [PubMed] [Google Scholar]
- 13.Helton W S, Warm J S, Tripp L D, et al Cerebral lateralization of vigilance: a function of task difficulty. Neuropsychologia. 2010;48(6):1683–1688. doi: 10.1016/j.neuropsychologia.2010.02.014. [DOI] [PubMed] [Google Scholar]
- 14.吴锋, 俞梦孙, 成奇明, 等 基于谱分析方法提取心动周期变异性中的睡眠结构信息. 生物医学工程学杂志. 2004;21(2):212–214. [Google Scholar]
- 15.刘风华. 基于心电脉搏信号的睡意检测与识别方法研究. 兰州: 兰州理工大学, 2013
- 16.Hlenschi C, Corodeanu S, Chiriac H Magnetoelastic sensors for the detections of pulse waves. IEEE Transactions on Magnetics. 2013;49(1):117–119. [Google Scholar]
- 17.Mallat S. A wavelet tour of signal processing. Burlington: Academic Press, 1999
- 18.Efron B Bootstrap methods: another look at the jackknife. The Annals of Statistics. 1979:1–26. [Google Scholar]