Skip to main content
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering logoLink to Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering
. 2017 Mar 28;34(2):278–289. [Article in Chinese] doi: 10.7507/1001-5515.201603032

基于面部视频的血流信号提取方法的比较及适用性研究

Comparison and applicability study of blood volume pulse extraction based on facial video

璇 何 1,2, 小培 吴 1,2,*, 超 张 1,2, 兵 卫 1,2, 钊 吕 1,2
PMCID: PMC9935402  PMID: 29745586

Abstract

基于独立分量分析(ICA)的盲源分离技术可从面部视频序列中分离出血流脉冲信号(BVP),进而可获取心率、血氧饱和度和呼吸率等生命体征参数。但现有研究结果并未有效展示 ICA 在 BVP 获取方面的优势,因此,一些研究者建议直接利用面部视频图像序列的绿色通道分量(G 分量)并结合时域滤波进行 BVP 提取(G-BVP)。本文基于 9 位受试者所提供的面部视频数据,对 ICA-BVP 和 G-BVP 两种方法的性能和特点进行了比较,研究了面部器官自然运动和光照变化等因素引起的视频干扰成分对 BVP 提取效果的影响。实验表明,ICA-BVP 方法在消除运动和光照干扰方面具有较明显的优势。在 ICA-BVP 方法的具体实现过程中,提出了基于谱峭度的 BVP 信号自动识别方法,用以解决 ICA 输出排序不确定的问题。该方法在动态 BVP 信号获取和心率估计实验中取得了较理想的测试效果。综上所述,ICA-BVP 方法在基于面部视频的血流信号提取及生命体征参数估计的应用中,具有更好的稳定性和准确性。

Keywords: 盲源分离, 独立分量分析, 血流脉冲, 光电容积描记

引言

心脏的(准)周期性搏动会引起血管的(准)周期性收缩与舒张,由此产生了与心跳同步的血容量变化脉冲(blood volume pulse, BVP)信号。光电容积描记(photoplethysmography, PPG)技术可用来探测和记录反映微血管中血容量变化的 BVP 信号。在此基础上,通过对 BVP 信号的消噪和增强处理,可进一步获取心率、心率变异性、血氧饱和度和呼吸率等重要生命体征参数[1]。因此近年来,基于 PPG 技术的 BVP 信号获取和处理方法成为了临床医疗和健康监护等领域的一个研究热点,具有广泛的应用前景。

在目前已提出的各种 PPG-BVP 信号获取方法中,基于人脸视频序列的无接触式 BVP 获取技术备受关注。Verkruysse 等[2](2008)、Poh 等[3](2011)、Kwon 等[4](2012)、de Haan 等[5](2013)和 Jiang 等[6](2014)分别提出了基于彩色人脸视频的 BVP 信号获取及心率等生命体征参数估计的方法。这类方法的基本思路均涉及对视频图像三基色(R/G/B)分量的运用,不同之处主要体现于对三基色视频数据的使用方式以及后续信号处理技术方面。其中,最基本的方法是直接对 G 分量信号进行时域滤波处理以获取 BVP 信号,本文称为 G-BVP 方法。在测试条件相对理想的情况下,G-BVP 方法能够以较少的运算代价获取 BVP 信号,因此非常有利于在手机等移动平台上实现。但是研究表明,如果存在较强的视频干扰(如运动干扰和光照突变),G-BVP 方法的性能则会明显下降。针对 PPG 信号的干扰成分消除问题,研究者提出了若干改进思路和新方法。其中包括基于独立分量分析(independent component analysis, ICA)等盲源分离技术的 BVP 信号获取方法[3],文中称之为 ICA-BVP 方法。从原理上看,ICA 方法应该具有较好的 BVP 信噪比改善能力,但一些研究者对 ICA-BVP 方法在实际应用中的真实性能提出质疑。例如,Kwon 等[4]、de Haan 等[5]和 Jiang 等[6]发表的研究结果表明,ICA-BVP 方法相比其他方法并无任何优势。因此,一些研究者不建议采用 ICA-BVP 方法[4, 6]

本文对基于面部视频的 BVP 信号获取方法进行研究,重点是 ICA-BVP 方法的适用性问题。研究过程中,基于不同面部区域的 BVP 提取实验讨论了面部器官不自主运动(如眨眼、面部肌肉动作等)可能对面部视频数据产生的干扰,并且分析了瞬间光照变化对面部视频数据造成的影响,从多个方面比较了 ICA-BVP 和 G-BVP 两种方法的应用效果。针对 ICA 所固有的输出排序模糊,论文还提出了一种基于谱峭度的 BVP 信号识别方法,用以改善 ICA-BVP 方法的实用性。

1. 方法

方法流程如图 1 所示,其中虚线框标识部分是本文予以重点介绍的内容。

图 1.

图 1

Flow chart of BVP extraction based on facial video

基于面部视频的 BVP 提取实验流程图

1.1. 面部区域分割

从面部视频信号中提取出 BVP 信号,首先要从包含复杂背景的视频帧中将人脸区域提取出来,在已报道的论文中,通常采用人脸跟踪算法进行面部定位,并对全部面部区域进行 BVP 提取。研究中发现,眼睛、嘴巴以及面部肌肉等局部区域的自然运动均会在 xRxGxB 三个时间序列中产生不同程度的脉冲干扰,如图 2 所示。这些干扰成分对 BVP 提取效果以及心率估计的准确性会造成较大的影响。为了进行两种方法抗干扰能力的评估,本文选择四种不同面部区域进行分析,如图 3 所示(受试者为 S1)。其中,区域 1 是目前常用的分析区域,即整个面部,区域 2 主要包含眼部区域,区域 3 是面颊区域,区域 4 主要包含嘴部,其中自然眨眼和嘴部肌肉运动等往往会产生较明显的干扰成分。这类源自受试者面部器官不自主运动的干扰成分与光照变化和面部整体运动生成的干扰相互叠加,形成具有很强随机性和复杂性的干扰分量。

图 2.

图 2

Interferences caused by partial facial region movements

局部面部区域运动产生的干扰

图 3.

图 3

Schematic diagram of region selection on face (subject S1)

面部区域选择示意图(受试者为 S1)

1.2. 空间平均和预处理

面部图像区域的每个像素点均包含源自心脏活动的 BVP 信息,但各像素点也同时含有各种随机噪声。由于 BVP 信号相对稳定,而随机噪声的生成过程近似独立,因此利用传统的相干平均法对选定区域内的像素点进行空间平均[3],能起到很好的抑制随机噪声和改善 BVP 信噪比效果。

设视频图像为 {In, m, t); 1≤nN, 1≤mM},{IR, IG, IB} 为图像的 R、G、B 三基色分量,空间平均操作如下:

1.2. 1

上式中,NM 为选定面部图像区域的高和宽,nm 为图像区域的空间坐标,t 为每帧图像对应的时间点(对应帧序号)。

预处理包括对 x=[xR, xG, xB]T的高通滤波[5]和标准化[3, 7]两部分。高通滤波用于去除 x 中各分量的低频趋势项,本文中高通滤波截止频率采用 0.6 Hz。信号标准化用于去除信号中的均值和方差归一化,即对 x 中三个分量分别进行式(2)所示的运算操作。

1.2. 2

其中 i=R, G, BE[xi] 为求均值运算,σx 中各信号分量的标准差。

1.3. BVP 获取方法

1.3.1 G-BVP 研究表明,在拍摄环境比较理想的情况下,如果被拍摄对象(受试者)的面部与摄像头保持相对静止,则面部视频图像的 G 分量(xG)与 BVP 信号的相似度非常高。因此,只需对 G 分量进行简单的时域滤波处理就可以得到较完整的 BVP 信号。在此基础上,可较好地完成后续生命体征参数的计算。这是一种目前较为常用的基于面部视频的 BVP 获取方法,本文称之为 G-BVP 方法。

1.3.2 ICA-BVP ICA 是一种基于多路输入的盲源分离方法[8-10],其基本原理也被相关领域研究者熟知。此处结合本文研究内容进行简单介绍。为了便于描述,将前面给出的三基色空间平均信号 x=[xR, xG, xB]T 重新定义为 x=[x1, x2, x3]T,其中原信号下标 {R, G, B} 分别对应于新的信号分量下标 {1,2,3}。

根据 ICA 对多维信号生成模型的定义,可将空间平均信号向量表达为:

1.3. 3

上式中 A 为混合矩阵,在有限时间内,矩阵元素 aij 可看成是常数,s=[s1, s2, s3]T 为三个隐含源组成的源信号量,其中包含了 BVP 分量和干扰分量。因此,式(3)被称之为 ICA 的线性瞬时混合模型或前向模型,其中,混合矩阵 A 和源 s 均未知。与式(3)对应的则是 ICA 的分离模型或后向模型,如式(4)所示,其中,W=A–1 为分离矩阵,y 是对真实源 s 的估计。

1.3. 4

为了求解未知的混合模型,以便最终分离出真实的源,研究者提出了基于不同判决的优化学习算法。大致可以分为两类:其一是基于输出独立性极大判据的 ICA 算法,如 FastICA[11]、InfomaxICA[12]、JADE[13]等;其二是基于信号非平稳特征的 ICA 算法,如 SOBI[14]。在本文前期的相关测试中,我们发现 SOBI 算法的 BVP 分离效果明显好于其他几种常用的 ICA 算法,而且运算量也相对较低。因此本文后续的 ICA-BVP 实验结果均是采用 SOBI 算法获得的。

根据 ICA 线性混合模型,其输出 y=[y1, y2, y3]T 中的各分量具有不确定性排序,即所谓的排序模糊。实验表明,在 ICA 的输出信号中,BVP 出现的位置并不一致。ICA 排序模糊在短时数据的离线分析中一般不会带来大的麻烦,因为可以采用人工方式确定目标信号。但在进行动态数据的在线分析时,通常采用滑动窗或者分段处理方式自动实现目标信号的定位和提取,此种情况下人工选择的方式不可行,因此需要建立一种目标信号自动定位方法。在 ICA 应用领域,虽然相关的研究工作早有开展,但不存在普遍适用的目标信号定位方法,通常需要针对不同类型信号的特点,进行专门的目标分量识别和定位方法设计。

在已报道的结合 ICA 和面部视频提取 BVP 的论文中,没有太多提及 ICA 排序模糊这一问题,原因可能是所用视频的时间较短。而在针对长时间视频数据进行分析时,一般需要进行分段批处理,因此 ICA 排序模糊就给 BVP 的自动获取带来了困难。有鉴于此,本文提出了一种基于谱峭度的 BVP 分量自动识别的新方法,并成功应用于后续基于长视频数据的动态 BVP 提取和心率估计中。

峭度(归一化四阶累积量)是对随机变量 z 高阶统计特性的一种度量,具体计算公式如下(假设 z 为零均值):

1.3. 5

峭度常用于随机变量的非高斯度量,并对数据中的奇异值非常敏感。在信号检测和处理领域,信号 xt)时域或者频域样本被看成是一随机变量取值的集合,峭度可用于描述该信号在时域或者频域的脉冲特性。谱峭度是对时间信号的频谱数据进行峭度计算,可用于度量信号的频域脉冲特性。根据峭度的数值特性,特定频率的谱峰越明显,谱峭度值通常越大[15]。在三路原始 RGB 信号的 ICA 分离结果中,由于 BVP 分量具有较明显的准周期性,其频谱在心跳频率范围内会出现非常显著的谱峰,对应的谱峭度值自然很大,而其他两路噪声分量通常不具有明显的谱峰,因此谱峭度值相对较低。图 4 给出了基于滑动窗视频数据的 ICA 分析和谱峭度度量的 BVP 自动获取算法框图。

图 4.

图 4

Block diagram of automatic BVP extraction algorithm combining sliding-window ICA with spectral kurtosis

结合滑动窗 ICA 分析和谱峭度的 BVP 自动获取算法框图

2. 实验结果与分析

2.1. 实验范式设计和视频数据采集

为了满足后续实验和算法验证的需求,采用了三种实验范式,其一是在保持摄像头和受试者面部相对静止的条件下采集视频数据,无需刻意控制眨眼,拍摄时间 1 min 左右,记为范式 1;其二是受试者在视频拍摄过程中,可进行一些正常的电脑操作,如浏览网页、打字、说话以及面部的小范围转动等。视频拍摄时长没有特殊的限定,一般大于 3 min,其中最长的录制时间为 12 min,记为范式 2;其三是在范式 2 的基础上,要求受试者前 40 s 尽可能保持面部静止,在后续面部视频录制过程中,受试者可以继续保持相对静止,也可以浏览网页、打字和说话等,但要求不能有较长时间的大幅度头部运动(如大角度转头或者低头等),记为范式 3。在视频录制过程中,摄像头距离受试者面部 0.5 m 左右。视频均在室内拍摄,光线条件为“自然光+灯光”(白天)和“灯光”(夜晚)。拍摄设备为苹果或三星手机的前置摄像头,帧采样频率为 30 fps,分辨率为 1 280×720。实验软件平台为 64 位 windows 7 系统下的 MATLAB R2012a。有 9 位受试者自愿参与了面部视频数据采集实验,年龄 20~50岁。为了表述方便,9 位受试者在文中分别用 S1–S9 命名。

2.2. ICA-BVP 和 G-BVP 方法的比较

为了验证和比较 ICA-BVP 和 G-BVP 两种方法的性能,研究眼动和光照变化等视频干扰对 BVP 信号获取以及心率估计的影响,本节将对若干有一定代表性的实测人脸视频数据进行分析,进一步说明 ICA 方法在面部 PPG 信号处理中的特点和优势。

图 5 给出了针对受试者 S2 的 G-BVP 实验结果。视频拍摄基于范式 1,录制时长为 20 s 左右。为了说明 G-BVP 方法的应用效果和存在的不足,实验根据图 3 所划分的不同面部区域(如图 5ad),分别进行 BVP 波形提取和心率估算(所用的视频段均保持一致)。具体步骤是,首先根据式(1)和(2)计算不同面部区域的 R/G/B 空间平均分量 xRxGxB图 5eh),然后对 G 分量 xG 直接进行 0.6~10 Hz 带通滤波处理,最后对获得的 BVP 信号(滤波后的 G 分量)进行谱估计和心率估算。从图 5i 可以看到,基于区域 3(面颊)的 BVP 波形(上图)提取效果良好,频谱中(下图)与心率对应的谱峰非常明显和干净。但是,从区域 2(眼睛,图 5b)和区域 4(嘴部,图 5c)的实验结果来看,眼和嘴的无意识运动会在 x=[xR, xG, xB]T 中产生较明显的运动干扰成分,如图 5fg 所示。图 5jk 分别给出了基于眼部、嘴部区域获取的 BVP 时域波形和频谱,虽然从频谱中能分辨出与心率对应的谱峰,但 BVP 波形的完整性遭到了破坏,这对其他生命体征参数的估算(如心率变异性等)会产生不同程度的影响。

图 5.

图 5

Experimental results of G-BVP method for different facial regions of subject S2 a–d. facial video frames and the related regions (rectangular box); e–h. spatially averaged signals x=[xR, xG, xB]T of 3-channels [R(above)/G(middle)/B(below)]; i–l. BVP (above) and its frequency spectrum (below) obtained from xG by band-pass filter

针对受试者 S2 不同面部分析区域的 G-BVP 方法实验结果 a~d. 面部视频帧及其分析区域(矩形框内);e~h. R(上)、G(中)、B(下)三分量的空间平均信号 x=[xR, xG, xB]T;i~l. 对 xG 进行带通滤波所得 BVP 信号波形(上)及其频谱(下)

在目前已报道的研究中,通常采用全脸图像作为分析区域(如图 3 的区域 1),但是面部器官的不自觉运动(特别是眼动)所产生的干扰对 BVP 波形的影响依然较大,实验结果如图 5dhl 所示。不难想象,在复杂应用场景中,类似的运动干扰肯定会更加严重,虽然通过人脸跟踪和区域选择的方法可以在一定程度上缓解类似运动干扰的影响,但无疑会大大增加算法的时/空复杂度,这显然不利于算法在手机等移动式计算平台上的实现。

为了验证 ICA 算法的实用效果,我们用 SOBI 算法对图 5 所示的相同视频数据进行处理,所得结果如图 6 所示。通过比较 G-BVP 和 ICA-BVP 的实验结果,可以清楚地看到,SOBI 算法在消除运动干扰方面起到了非常明显的效果,针对不同面部区域分析所得的 BVP 信号波形均比较完整,对应心率的谱峰也更加明显和干净,这对后续生理参数的获取非常有利。同时,由于 ICA 算法有较好的抗运动干扰能力,因此可以适当放松在面部跟踪算法以及分析区域选择方面的要求,例如,可以用眼部周边较小的区域替代全脸区域进行 BVP 分析和提取,进而可降低算法的复杂度(注:在人脸跟踪算法流程中,人眼定位是比较常用且相对容易实现的前期步骤)。另外,从面部视频中分离出来的眨眼信息在一些特殊场合中也具有一定的应用价值(如疲劳监测等)。

图 6.

图 6

Experimental results of ICA-BVP method for different facial regions of subject S2 a–d. the outputs of SOBI being applie on the preprocessed 3-channel signals; e–h. BVP identified automatically (above) and its frequency spectrum (below)

针对受试者S2不同面部区域的ICA-BVP方法实验结果 a~d. 对预处理后的三通道数据进行 SOBI 分离的结果;e~h. 自动筛选出的 BVP 信号波形(上)及其频谱(下)

2.3. BVP 信号的动态获取和心率估计

在下面的实验中,我们用一个基于范式 3 的时长为 12 min 的面部视频验证图 4 所示算法的性能。需要说明的是,根据经验,当受试者面部相对摄像头保持良好的静止状态时,不同方法均可获取相对完整的 BVP 波形和较准确的心率估计,因此前 40 s 静止状态下所得心率可作为后续长视频分析实验的参照标准。我们认为这一方案可省去采用标准医用心率设备,在操作上更加方便。

图 7a 是视频中的某图像帧,其中区域 3(红色矩形框)作为参考心率的分析区域。为了尽可能保证参考心率估计的准确性,区域 3 中没有包含眼睛区域。图 7bc 是对长视频的前 40 s 数据分别采用 ICA-BVP 和 G-BVP 两种方法所提取的 BVP 波形以及时频分析结果。可以看到,在受试者处于静止状态下,两种方法的心率估计结果完全一致,均为 80.3 次/分。

图 7.

图 7

Experimental results of reference HR estimation of subject S3 using ICA-BVP and G-BVP methods respectively a. regions dividing on facial video frames; b: region-3 based BVP waveform extracted by ICA-BVP (above) and G-BVP (below) from the first 40 s video data; c. time-frequency analysis of the BVP signal in Fig.b

ICA-BVP 和 G-BVP 两种方法计算受试者 S3 参考心率的实验结果 a. 面部视频帧及其分析区域划分;b. 前 40 s 视频数据中基于区域 3 的 ICA-BVP 提取的 BVP 波形(上)和 G-BVP 提取的 BVP 波形(下);c. 对应图 b 中 BVP 波形的时频分析结果

对后续视频数据采用滑动窗方式进行分段处理,每段包含 300 帧图像,相邻视频段之间没有重叠。为了比较两种方法针对不同面部区域的分析效果,分别选择图 7a中的区域 1(黄色矩形框,尺寸为 276×280)和区域 2(黑色矩形框,尺寸为 80×260)用于动态心率估计和统计分析。实验结果如图 8abde 所示,其中,图 8ab 中的上图分别是基于区域 1 和区域 2 所得到的动态心率,下图给出了分段 ICA 输出中 BVP 分量的位置变化,用以说明 ICA 输出排序的模糊现象。结合 ICA-BVP 方法给出的动态心率估计结果,可以验证谱峭度方法应用于 BVP 信号自动定位的实际效果。图 8de 是用 box-plot(箱线图)工具对两种方法所得动态心率的统计分析。可以发现,ICA-BVP 相比 G-BVP,在针对区域 1 和 2 的动态心率估计中,均表现出了更好的稳定性和准确性。这一点很容易从动态心率波形和箱线图给出的统计信息中看到,即 ICA-BVP 方法获得的动态心率波动(野值数量)要明显小于 G-BVP 方法。比较图 8ab图 8de 还可以观察到,采用面积较大的分析区域(区域 1),有利于缓解运动干扰的影响,当然算法的时/空复杂度会有所增加。另外,从图 8be 所示的眼部区域(区域 2)的分析结果来看,运动干扰对 ICA-BVP 方法也会产生一定的影响。不过实验表明,只要适当增加区域 2 的面积(如区域 4,尺寸为 150×290),ICA-BVP 方法的分析效果相比 G-BVP 方法往往能得到更明显的改善(见图 8cf)。

图 8.

图 8

Dynamic HR estimation of subject S3 based on ICA-BVP and G-BVP methods respectively a–c. dynamic HR obtained by the two methods respectively based on the region-1, region-2 and region-4 (above) and the order of BVP component among the outputs of ICA on segmental data (below); d–f: statistic of the dynamic HR estimation obtained in Fig.a–c

ICA-BVP 和 G-BVP 两种方法进行受试者 S3 动态心率估计的实验结果 a~c. 两种方法分别基于区域 1、区域 2、区域 4 所得到的动态心率(上)及其 BVP 信号在分段 ICA 输出中的排序(下);d~f. 分别对应图 a~c 中两种方法所得动态心率的统计分析

基于图 4 所示的算法,对 6 位受试者(S3–S8)的面部视频进行分析。实验视频基于范式 3,录制时间不低于 3 min。对 ICA-BVP 和 G-BVP 两种方法的性能进行比较时,以动态心率的波动值(偏差)为参考指标。具体步骤为,先基于每段视频前 40 s 左右的静止视频数据估算出参考心率 R_HR,然后分段获取基于后续视频数据的动态心率估计值 D_HRn),n=1, Inline graphic , N,并计算 D_HRn)围绕参考心率 R_HR 的偏差值,即

2.3. 6

表 1 给出了基于 6 位受试者面部视频图 7a 分析区域 1 的实验结果,可以看到 ICA-BVP 方法获取的动态心率的波动要小于 G-BVP 方法。

表 1. Comparison of dynamic HR estimation results obtained by ICA-BVP and G-BVP.

ICA-BVP 和 G-BVP 两种方法进行动态心率估计的实验结果比较

受试者 R_HR STD
ICA_BVP G_BVP
S3 73.8 4.4 6.9
S4 77.5 2.2 5.8
S5 76.8 4.0 13.2
S6 68.0 3.2 9.0
S7 83.0 2.5 3.0
S8 65.4 7.3 9.3

2.4. 典型视频干扰及其对 BVP 提取的影响

在上述实验中,围绕眼部区域的运动干扰问题有较多讨论。其原因涉及两个方面:其一,在基于面部视频的实用心率检测系统实现过程中,一般会用到人脸检测算法。而眼睛定位通常是人脸检测过程的首要步骤。从本文前面的实验结果来看,ICA-BVP 方法对眼部自然运动产生的干扰有较强的适应能力。因此在完成眼睛定位后,通过适当的面部矩形区域扩展,即可准确、快速地提取出用于获取 BVP 的面部分析区域。这样既可以简化面部区域的选择过程,也可以提高运算效率。其二,我们在实验中发现,一些受试者在视频录制过程中,虽然能够保持面部与摄像头相对静止,但很难有效控制面部器官的运动,如眨眼、脸部肌肉不自主抽动和笑等。因此,采用全部面部区域未必能获得更好的效果。

图 9a 为一受试者(S9)面部视频帧截图,完整视频的录制时长是 2 min,实验中选择其中的 30 s 视频数据进行分析。受试者 S9 在视频录制过程中自然眨眼频率较高(非实验安排),因此由全部面部区域获取的三通道原始 RGB 信号中包含了较密集的眼动干扰脉冲,如图 9b 所示。图 9c 是对原始信号带通滤波后的三路 R(上)、G(中)、B(下)信号,用作 ICA-BVP 算法的输入。图 9d 是 ICA 的分离结果,其中上图为眼动伪迹,下图为 BVP 分量。可以看到,ICA-BVP 能较好地分离出眼动分量和 BVP 分量。图 9ef 分别是对两种方法获取的 BVP 信号进一步低通滤波处理后的时域波形及其频谱,虽然从两种方法的频谱中可得到完全一致的心率估计值,但是 ICA-BVP 方法所获得的 BVP 波形明显好于 G-BVP 方法,因此更有利于心率变异性等生命体征参数的计算。

图 9.

图 9

BVP achieved results with the two methods in the case of existing large amount of eyes movement interference (subject S9) a. facial video frame and the related region (rectangular box); b. the raw 3-channels (R/G/B) signals; c. 3-channel outputs from the raw signals through a band-pass filter; d. the outputs of ICA; e. the temporal waveform of BVP processed by a low-pass filter obtained by ICA-BVP (above) and G-BVP (below) respectively; f. frequency spectrum of the BVP signals in Fig.e

两种方法在存在大量眼动干扰情况下的 BVP 获取结果(受试者 S9) a. 面部视频帧及其分析区域(矩形框内);b. RGB 三通道原始信号;c. 对原始信号带通滤波后的三路输出信号;d. ICA 分离结果;e. ICA-BVP 方法获取的 BVP 分量经低通滤波处理后的时域波形(上)和 G-BVP 方法获取的 BVP 分量经低通滤波处理后的时域波形(下);f. 对应图 e 中两个 BVP 信号的频谱

除了自然眨眼等面部器官运动所产生的干扰外,环境光突变对实验效果的影响往往更加严重。我们用 S9 面部视频文件中的另一段数据来说明光线变化的影响。在该段视频录制到 22 s 左右时,有人从受试者身边经过引起了光照的瞬间变化,由此在 RGB 信号中产生较大幅度的干扰脉冲,如图 10a 所示。利用与前面完全相同的实验步骤,对该段视频进行分析,结果如图 10bd 所示。其中图 10b 分别是 ICA-BVP 和 G-BVP 两种方法获取的 BVP 波形,图 10cd 是对应的频谱和时频分析结果。可以看到,此种情况下,ICA-BVP 依然能正常地工作,但 G-BVP 方法已基本失效。然而在真实环境下,类似的光线变化对视频图像的干扰很难避免。从上述实验结果中可以看到,采用 ICA 方法可以在较大程度上缓解瞬间光线突变所产生的影响,这对于改善系统的实用性非常有帮助。

图 10.

图 10

Results of two methods for subject S9 in case of light mutation a. 3-channel signals processed by a band-pass filter; b. BVP waveform extracted by methods of ICA-BVP (above) and G-BVP (below); c. frequency spectrum of the BVP signal in Fig.b; d. time-frequency analysis of the BVP signal in Fig.b

两种方法针对光线突变时受试者 S9 的实验结果 a. 带通滤波后的三路信号;b. ICA-BVP 方法获取的 BVP 波形(上)和 G-BVP 方法获取的 BVP 波形(下);c.对应图 b 中两个 BVP 信号的频谱;d. 对应图 b 中两个 BVP 信号的时频分析结果

2.5. 讨论

值得一提的是,采用心率作为评估指标只能部分说明不同视频 BVP 获取方法的性能差异。因为,即便 BVP 信号中存在一定的干扰成分,对心率估计的准确性往往也不会有大的影响。这一点可以从图 5图 6 所示的实验结果中看到。通过对 BVP 信号波形的比较,ICA-BVP 方法所得 BVP 信号的波形质量明显要好于 G-BVP 方法,但是两种方法的心率估计结果(BVP 谱峰位置)却基本一致。因此,以心率作为评估指标显然存在一定的不足。不过在基于面部视频的长程动态心率监测过程中,受试者不自主运动以及测试环境的随机变化等均可能产生难以预料的干扰成分,此种情况下,ICA-BVP 方法往往能发挥其干扰消除方面的优势,给出更稳定和准确的心率估计结果。不难理解,能够真实反映 BVP 获取方法性能的是 BVP 波形的完整性。不过 BVP 波形质量的量化评估指标很难确定,虽然借助专业医疗仪器可同步检测到动态血流信号数据,但现有医疗设备的抗干扰能力(特别是抗运动干扰能力)也比较有限,通常只能在相对理想的环境下提供较准确的实验数据和结果,面对复杂的非临床环境或干扰测试实验,专业医疗仪器的稳定性和精确性也难以保证。因此,在不同方法的性能比较实验中,如何建立合理的量化评估指标是一个值得进一步研究的问题。

3. 结论

本文对基于人脸视频的 BVP 信号获取方法进行了研究,基于实测视频数据,分析和比较了 ICA-BVP 和 G-BVP 两种方法的实际性能。实验结果表明,ICA 方法在消除面部器官运动和光照变化所产生的视频干扰方面,具有较大的优势。针对 ICA 输出排序模糊问题,本文提出了基于谱峭度的 BVP 自动定位方法,取得了较好的应用效果。此外,本文在面部分析区域选择方面也进行了讨论,所得结论具有一定的参考价值。特别从眼部区域的分析结果中可以看到,ICA-BVP 方法不仅能从面部视频提取出 BVP 信号,而且能较完整地分离出眨眼波形。我们认为,在一些特殊的应用场合,眼动信息的无接触获取同样具有潜在的应用价值。不过 ICA 方法的运算复杂度相对较高,因此在手机等移动平台上实现时,相比 G-BVP 方法更加占用资源,这是它的不足之处,也是今后需要进一步改进的地方。

需要说明的是,由于真实的视频拍摄环境非常复杂,干扰生成因素非常多,很难通过仿真实验的方式对不同情况进行模拟,因此只有通过大量实测视频数据的实验分析才可能得到相对可靠的结论。

Funding Statement

国家自然科学基金(61271352,61401002)

References

  • 1.Allen J. Photoplethysmography and its application in clinical physiological measurement. Physiol Meas. 2007;28(3):R1–39. doi: 10.1088/0967-3334/28/3/R01. [DOI] [PubMed] [Google Scholar]
  • 2.Verkruysse W, Svaasand L O, Nelson J S. Remote plethysmographic imaging using ambient light. Opt Express. 2008;16(26):21434–21445. doi: 10.1364/oe.16.021434. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 3.Poh M Z, Mcduff D J, Picard R W. Advancements in noncontact, multiparameter physiological measurements using a webcam. IEEE Trans Biomed Eng. 2011;58(1):7–11. doi: 10.1109/TBME.2010.2086456. [DOI] [PubMed] [Google Scholar]
  • 4.Kwon S, Kim H, Park K S. Validation of heart rate extraction using video imaging on a built-in camera system of a smartphone//2012 Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). San Diego, CA, USA: IEEE, 2012: 2174-2177.
  • 5.de Haan G, Jeanne V. Robust pulse rate from chrominance-based rPPG. IEEE Trans Biomed Eng. 2013;60(10):2878–2886. doi: 10.1109/TBME.2013.2266196. [DOI] [PubMed] [Google Scholar]
  • 6.Jiang W J, Gao S C, Wittek P, et al. Real-time quantifying heart beat rate from facial video recording on a smart phone using Kalman filters//2014 IEEE 16th International Conference on e-Health Networking, Applications and Services (Healthcom). Natal, Brazil: IEEE, 2014: 393-396.
  • 7.Huang R Y, Dung L R. Measurement of heart rate variability using off-the-shelf smart phones. Biomed Eng Online. 2016;15(1):1–15. doi: 10.1186/s12938-016-0127-8. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 8.杨福生, 洪波. 独立分量分析的原理与应用. 北京: 清华大学出版社, 2006: 3-56.
  • 9.Hyvärinen A, Karhunen J, Oja E. Independent component analysis. New York: Wiley, 2001.
  • 10.James C J, Hesse C W. Independent component analysis for biomedical signals. Physiol Meas. 2005;26(1):R15–R39. doi: 10.1088/0967-3334/26/1/r02. [DOI] [PubMed] [Google Scholar]
  • 11.Hyvärinen A, Oja E. Independent component analysis: algorithms and applications. Neural Netw. 2000;13(4/5):411–430. doi: 10.1016/s0893-6080(00)00026-5. [DOI] [PubMed] [Google Scholar]
  • 12.Bell A, Sejnowski T. An Information-Maximization approach to blind separation and blind deconvolution. Neural Comput. 1995;7(6):1129–1159. doi: 10.1162/neco.1995.7.6.1129. [DOI] [PubMed] [Google Scholar]
  • 13.Cardoso J F. High-order contrasts for independent component analysis. Neural Comput. 1999;11(1):157–192. doi: 10.1162/089976699300016863. [DOI] [PubMed] [Google Scholar]
  • 14.Belouchrani A, Abedmeraim K, Cardoso J F, et al. A blind source separation technique using second-order statistics. IEEE Transactions on Signal Processing. 1997;45(2):434–444. [Google Scholar]
  • 15.Antoni J. The spectral kurtosis: a useful tool for characterising non-stationary signals. Mech Syst Signal Process. 2006;20(2):282–307. [Google Scholar]

Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University

RESOURCES