Skip to main content
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering logoLink to Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering
. 2022 Aug 25;39(4):833–840. [Article in Chinese] doi: 10.7507/1001-5515.202108066

基于眼电图的有意/无意眼动分类方法及应用综述

A review on voluntary or involuntary eye movement classification methods based on electro-oculogram and their applications

Jiarong LIU 1, Linyao WANG 2, Yingnian WU 3, Qing HE 1
PMCID: PMC10957363  PMID: 36008348

Abstract

The eye-computer interaction technology based on electro-oculogram provides the users with a convenient way to control the device, which has great social significance. However, the eye-computer interaction is often disturbed by the involuntary eye movements, resulting in misjudgment, affecting the users’ experience, and even causing danger in severe cases. Therefore, this paper starts from the basic concepts and principles of eye-computer interaction, sorts out the current mainstream classification methods of voluntary/involuntary eye movement, and analyzes the characteristics of each technology. The performance analysis is carried out in combination with specific application scenarios, and the problems to be solved are further summarized, which are expected to provide research references for researchers in related fields.

Keywords: Electro-oculogram, Eye movement classification, Voluntary eye movement, Eye-computer interaction

引言

2020年,我国国家统计局发布的《中国统计年鉴》显示,肢体残疾的人数约为553.5万;与此对应,配套的残疾人康复机构仅有9 775家[1],且当前人口老龄化问题日趋严重,肢体残疾者和老年人的看护服务已逐渐成为众多家庭需面临的问题,也为全社会居民的生活保障带来了巨大的压力。

大多数残障人士,即使是患有脑瘫、肌萎缩侧索硬化症等重症患者,仍然具有自主控制其眼球运动的能力。如果可以利用传感器采集眼动信息并转换成电信号,进而映射为预设命令来控制外部设备,就能够让大多数失能人士重拾使用电子设备的能力。近年来,随着生物科学和信息科学的飞速发展,已研发出一大批人机交互(human–computer interaction,HCI)技术解决方案。其中,基于眼电图(electro-oculogram,EOG)的人机交互技术,摆脱了触摸控制、动作控制等传统人机交互技术严重依赖肢体运动的束缚,并克服了构造复杂、价格昂贵等弊端,只通过探测眼动即可实现对外部设备的操控,因此吸引了越来越多的学者参与研究。

自从20世纪60年代眼机交互技术建立至今,相关理论技术发展迅速、应用广泛。从早期利用EOG数据跟踪眼动状态,到90年代可以实现特定功能的产品“鹰眼(EagleEyes)”,再到如今利用EOG信号控制电动小车、电动轮椅、鼠标键盘,乃至复杂交互界面的人机交互系统,基于EOG信号的人机交互技术俨然成为了生物医学、人机接口、康复工程等领域的重要研究方向。同时,大多数罹患肢体运动控制障碍相关病症但仍可自主控制其眼球运动的失能人士,也有望在不依靠他人帮助的情况下独立控制配套的人机交互终端,这将在一定程度上缓解失能人群生活自理的问题。

因此,本文根据分类方法的原理,综述有意/无意眼动分类各项技术的特点和研究进展,并结合实际应用场景展开性能分析,最后展望眼机交互领域的应用和发展趋势,以期为相关领域的科研工作者提供参考信息。

1. 眼机交互原理简介

眼睛是心灵的窗户,眼球往往会受到意识控制而发生运动。当然,眼动不只包含有意眼动,还包括一些无意识的眼动。研究者认为,自主控制反应与自发反应同时发生但又相互独立。与前者有关的皮层通道连接前额眼动区,与后者有关的皮层通道连接上丘,二者在皮层下的眼动控制部位相汇。在竞争中,这两条独立通道同时被激活,并由强势一方控制产生相应的眼动,生理解剖学也佐证了该观点[2]。人的眼动主要分为:眼跳、眨眼和追踪眼动。其中主动眼跳和主动眨眼可以有效地表达用户实时的操控意愿,合称为“有意眼动”,而其余无法表达控制意愿甚至造成干扰的眼动归为“无意眼动”。

目前眼球运动的探测方法主要有:搜索线圈法、视频记录法、红外线眼动图法和生物电法等。其中搜索线圈法使用成本高昂且设备庞大,不适合在失能人群中广泛推广;视频记录法的时间、空间分辨率较低,逐渐被基于红外线眼动图法的眼动仪所淘汰;而红外线眼动图法对使用环境的稳定性要求较高、易受户外可见光的影响,另外长时间使用红外光照射眼球可能会诱发眼部疾病,不适合日常使用。因此,基于EOG信号的生物电法,因其无创、成本低廉、体积小、操作简易和环境因素影响极小等特点,成为一种较为理想的眼动探测方法。

EOG信号是一种微弱的体表生物电信号,伴随眼球的运动而产生。眼球可以被视为一个双极性球体,携带正电荷的角膜为等效正极,携带负电荷的视网膜为等效负极,眼动引起的电势差导致电流由视网膜端源源不断地流向角膜端,进而形成一个微弱的电场。EOG信号随时间不断变化,如果将其变化在时间轴上描绘出来就会得到EOG曲线。通过对EOG信号进一步处理分析并滤除无意眼动,即可得到有意识的眼跳和眨眼信号。眼跳俗称扫视,是视线从一个点转移到另一个点的过程,也可以理解为介于两次注视之间的视线转移;眨眼则指快速的闭眼动作。EOG信号相对于脑电 (electro-encephalogram,EEG)信号来说具有诸多优势,EOG信号具有更大的信号幅度,抗干扰能力更强,与EEG信号、心电(electro-cardiogram,ECG)信号和肌电(electro-myogram,EMG)信号的对比如图1所示,而且无需特别训练、便于检测处理,因此具有广阔的应用前景。通过对EOG数据的处理和分析可以解析出使用者的控制意图,并且无需借助躯体活动即可使用眼机交互系统,并实现对相关外部设备的控制。目前,较为常见的眼机交互设备有电动轮椅、电脑键盘、人机交互界面等。

图 1.

图 1

Frequency range of common bioelectric signals

常见生物电信号的频率范围

虽然基于EOG数据的技术具有诸多优势,但尚存一个难题:有意眼动信号会受到无意眼动的影响,对其识别分类造成干扰,即“米达斯触碰(Midas touch)”问题,一旦发生轻则出现误判和错判现象影响用户的日常体验,重则引发危险对用户造成伤害。研究表明,因为无意眨眼和眼球运动在垂直通道上的幅值较为相似,所以容易对二者的识别造成干扰[3]。当下,无意眼动引起的“米达斯触碰”问题已成为前沿研究方向,若能有效解决,将大大提高眼机交互的实用性。

2. 有意/无意眼动分类的主要方法

近年来眼机交互技术不断发展,有意/无意眼动的分类问题愈发凸显,无意眼动所导致的误判问题也受到了重视。围绕如何避免“米达斯触碰”这一问题,各国学者均进行了相关研究,根据解决方案的原理,大致可分为以下七个类别。

2.1. 基于多次眨眼的分类识别

鉴于人类眼球特殊的生理结构,无意眨眼可以将泪液均匀地分布于角膜、结膜,以保持其处于湿润状态并清除灰尘和细菌;其次无意眨眼还能使视网膜和眼肌得到片刻放松。正常情况下,人每分钟平均眨眼15~20 次,每次耗时约0.2~0.4 s。一些研究团队利用这一特性,基于两次眨眼、三次眨眼甚至多次眨眼的EOG信号开发出了多种眼机交互设备,这里的多次眨眼指的是同时眨双眼。文献[4]开发了一种类似的采用单极导联方式的文本输入装置,通过实验分别确定了连续两次眨眼的最小间隔、最大间隔及最小幅值、最大幅值,并将其作为有意眨眼的判别准则,提高了输入的平均准确度。研究团队还根据受试者对眨眼间隔时长进行了优化,并进一步规定一秒内发生两次连续的眨眼才会被归为“两次眨眼”。据此,该团队研发出了高可用性的EOG信号实时分类算法,可用于虚拟键盘和电动轮椅等眼机交互应用场景[5]。另有学者采用特征匹配法实现了对两次眨眼和三次眨眼的信号识别[6],平均识别率可达到98.6%。文献[7]提出利用有意眨眼、两次眨眼和三次眨眼来控制电灯等具有物理开关的电器,平均分类准确度可达到98%。

以上这些研究成果虽然获得了较为可观的准确度,但是绝大多数都是在安静、单调的理想化实验室里进行的,受试者多为身体健康的青壮年研究人员。因此,上述基于多次眨眼的分类识别方法在实际应用场景下,仍然容易发生误判,无法在根本上真正解决“米达斯触碰”问题。

2.2. 基于眨眼模式的分类识别

目前,通过预置合理的眨眼模式规则,或能解决“米达斯触碰”问题,进而成功规避因无意眼动引起的误判现象。现实生活中绝大部分人所发生的无意眨眼,往往是同时且高度同步的眨双眼情况。与上个章节不同,此处眨眼模式指左、右眼分别单目眨眼或单目组合眨眼。针对这一特点,一些学者研究给不同眨眼模式赋予不同的功能,例如眨左眼代表确定、眨右眼代表回退等。这样既能增加相关眼控产品的指令功能,也可以回避无意眼动的干扰。文献[8]提出了一种用于控制计算机光标的眼动和有意眨眼的分类方法,可以借助四个方向的眼动和三类有意眨眼输出多种不同的指令。针对其中几个可能会误判的眼动类型,研究者引入不同的眨眼模式进行分类,实现了精准控制光标移动和选择的目的。除了四个眼动方向控制光标的位置外,眨左眼代表“输入”,眨右眼代表“显示菜单”;而无意眼动因比较容易在无意识状态下发生对其它指令造成干扰,因此并未关联任何操作指令。其他研究人员另辟蹊径,基于摩尔斯电码设计了一套将眨眼信息转换为语音信号的方法[9],它通过分析检测EOG信号中的眨眼次数,用单次眨眼表示“滴”、二次眨眼表示“嗒”,再经过解码恢复出原始信息,最后播放预置数据库中的对应音频。文献[10]研究并开发出了一套可用于汉字输入的异步拼写系统,设定二次眨眼用于选中目标,三次眨眼作为整套系统的开关键。该实验结果表明,汉字的平均输入速率为2.39 个/min,明显优于基于事件相关电位(event-related potential,ERP)P300的经典输入方式。

综上,虽然根据眨眼模式可设定更多指令功能,在客观上实现了功能多样化,也能够间接解决“米达斯触碰”问题。然而,随着使用时长的不断增加,单次眨眼会加重使用者的用眼负担、造成眼部疲劳,甚至可能诱发眼部疾病。

2.3. 基于眨眼时长的分类识别

与多次眨眼判别有意眼动的解决方案类似,通过控制眨眼时长也能够有效地将有意眨眼和无意眨眼进行区分。但在日常的使用场景下,基于眨眼时长进行分类识别的方法局限性较强,大多数设备均需用户准确控制眨眼时长,否则就会出现误判和错判现象,严重影响产品的实用性。因此,基于这种分类方法的研究成果较少。文献[11]通过实验研究得出,一般短暂眨眼持续约176.3 ms,而长眨眼持续约776 ms。他们通过设定合理的分类阈值(392 ms)来区分这两种眨眼类型,在最大程度上降低误分类的可能性,分类的平均准确度为76.6%。此外,有学者认为,利用EOG信号相邻波峰、波谷的时间差可以筛选出有意眨眼信号[12]。时间间隔较大的眨眼信号被判定为有意眼动,平均分类准确度可达98.7%左右。

事实上,失能人群所处的日常环境无法隔绝外界干扰,大量患者也不能按照程序要求完美地完成眨眼任务,且长时间、高频率的连续眨眼会造成用户的眼部疲劳,甚至可能危害眼部健康。因此,基于该分类方法所实现的眼机交互系统不适合在失能人群中进行推广。

2.4. 基于眨眼阈值的分类识别

目前,较为主流的研究方法是眨眼阈值法,它针对两类眨眼之间幅值、持续时间和速度等差异进行分类识别,在实际应用中已经发展得较为成熟。准确的阈值可以有效地提高系统的实用性,进而影响用户的使用体验。当阈值较小时,系统的灵敏度偏高,此时误判现象会明显增多;阈值过大时,分类准确度将会提升,但部分幅值较小的眼动存在系统无法识别的可能。所以,阈值的合理选取尤为重要。

文献[13]基于EOG信号开发了一套图形化的人机交互界面,可用于在虚拟现实环境中实现音乐点播。系统利用算法检测眨眼频率和按键闪烁频率,进行一对一匹配,并利用波形峰值和延迟作为眨眼特征。该研究眨眼阈值选为20 mV,平均准确率为95.25%。有学者结合稳态视觉诱发电位(steady-state visual evoked potentials,SSVEP)成功开发出了高性能通信系统[14]。该系统针对EOG信号的脉冲幅度、持续时间和峰谷值进行检测,准确率为96.73%。文献[15]设计了一套低成本的字符输入系统,当目标字符与次级目标字符满足一定标记次数条件时,则判定选中该目标字符,输入的平均准确度达97.73%,平均字符输入速率为1.95 个/min。文献[16]则开发了一套异步可用于智能家居控制的人机交互系统,该系统利用EOG信号的幅值和持续时间组成特征参数,结合阈值完成眨眼检测,平均准确率为93.6%。还有学者使用眨眼速率、持续时间和信号强度作为特征来提取眼动信息[17],准确度达98.7%。

基于眨眼阈值分类的研究相较前面几种方法,在分类的准确度方面存在一定优势。但是,该分类方法所用检测脉冲波形的特征阈值,往往需通过多次重复性试验来确定。这些“最优化”阈值只对特定受试者在特定时间内有效,不具有普适性特点。所以,每次实验前均需微调各个分类阈值,以弥补个体差异造成的阈值波动。基于眨眼阈值分类的人机交互系统对阈值的精细化程度依赖较高,因此该技术存在一定的局限性。

2.5. 基于眨眼阈值的自适应改进

针对眨眼阈值法的个体差异性特点,一些学者提出使用动态阈值实现自适应改进。在眼机交互设备使用过程中,EOG信号的基线有时随电极和皮肤表面的阻抗变化而发生变化,随着实验的进行,分类的准确度会渐渐下降。因此,对原先的固定阈值进行动态调整就能够有效地降低上述影响。

文献[18]采用支持向量机(support vector machine,SVM)开发出了一套有意眨眼检测系统,并成功地应用于电动轮椅控制领域。双目眨眼、单目左眨眼和单目右眨眼根据EOG信号的峰值幅度和相关系数来识别,将相关系数作为特征值引入SVM算法之中,既可以消除个体差异给阈值带来的影响,同时也增强了眼动分类的鲁棒性,因而取得了良好的分类效果。文献[19]推出了一套可用于控制电动轮椅的人机界面,研究人员通过大量实验确定了有意眨眼在信号幅值、持续时间和速度方面的阈值范围。为补偿“米达斯触碰”问题造成分类准确度下降的现象,引入了自适应阈值技术。考虑到用户使用环境变化所造成的影响,开发者还引入噪声变化比值用于动态校准阈值,眼动分类的平均准确度为93.89%,信息传输速率为62.64 bits/min。此外,文献[20]设计了一套简体中文输入系统,研究人员开发出了一种基于滑动窗口技术的动态阈值检测方法。经测试,输入汉字的平均准确度为94.52%。通过这种阈值自适应改进算法,有效地降低了个体差异性造成的误差影响。

可见,对有意眼动阈值进行自适应改进不仅可以补偿个体差异,还有利于排除环境、基线漂移、心理活动等因素带来的干扰。基于眨眼阈值的自适应改进方法有望在未来得到进一步发展和应用,提高眼机交互的实用性。

2.6. 基于机器学习的分类方法

在工业等诸多领域中,使用机器学习相关技术辅助完成数据分类的案例屡见不鲜,尤其在图像识别、医学诊断和股市预测等方面被广泛应用。其中,较为常用的是人工神经网络(artificial neural network,ANN),它的工作方式类似于人脑,由多个存储知识经验的处理单元组成,可以被视为一个并行分布的大规模处理器。文献[21]开发了智能轮椅控制系统。该系统所用的数据取自包含有意眨眼和双向眼动信号的脑机交互开源数据库(Brain/Neural Computer Interaction:Horizon 2020)(网址为:http://bnci-horizon-2020.eu/),将其作为随机森林算法的训练样本。当EOG原信号输入后,位于轮椅处的树莓派通过小波变换提取特征并利用随机森林算法分类,系统的识别准确率为92.25%。文献[22]基于嵌入式硬件平台Arduino(Pro Mini,Arduino Inc.,意大利)利用SVM算法实现了对有意眨眼信号的识别,平均准确度为93%。还有学者使用深度学习模型实现了EOG信号的分类[23]。该研究基于卷积神经网络(convolutional neural networks,CNN)和长短期记忆(long short-term memory,LSTM)人工神经网络两类模型,实现了对向上眼动和向下眼动的精准分类。此外,该研究中CNN模型的分类精度也优于LSTM模型。

随着机器学习相关技术的飞速发展,各种分类器会更加强大,可以处理更加复杂的非线性问题。将机器学习应用于有意/无意眼动分类将有助于解决“米达斯触碰”问题,在提高系统自学习能力的同时,容错性也能得到显著提升。

2.7. 基于多模态生物电的分类识别

仅使用EOG信号完成眼动分类可能造成有意眼动识别率低和鲁棒性差的问题,同时不可避免地受到“米达斯触碰”问题影响。此外,用于人机交互的眼动类型较少,这直接导致执行任务过于简单,无法完美覆盖现实中大多数使用场景。为解决这一问题,有学者提出基于多模态生物电的脑机接口——在EOG信号的基础上同步加入其它模式信号,对组合信号进行综合处理、识别分类。

文献[24]设计了一套基于EOG信号和EEG信号的人机交互系统,其中EOG数据用于识别眼动,EEG数据用于检测ERP信号,如:P300信号等。研究以EOG信号检测眼动来控制需要快速响应的动作,如移动;以ERP信号来判断用户的视觉焦点并控制执行一些预编程行为,如选取控制目标。基于多模态生物电信号的人机界面充分利用了二者优势,在实现多功能控制的基础上兼具较强的灵活性,因此取得了相对较高的信息传输速率。此外,该系统无需用户持续集中注意力,可以有效降低使用者的身体和精神负担。有学者开发出了一套基于EOG信号和SSVEP信号的虚拟拼写系统[25]。该系统利用SSVEP数据识别按键,注视、眨眼等眼动用于控制选取字符,此类利用混合生物电的人机交互系统提供了有意/无意眼动分类的新思路。文献[26]融合EOG信号和视频眼动(video-oculogram,VOG)信号实现了对扫视信号的识别,在此基础上设计了一款基于双模态的中文输入系统。系统利用EOG扫视数据的小波包系数和视频扫视数据的二维小波特征作为扫视的特征向量,并为汉字设计了相应的眼动输入模式。相对于单模态方案,该系统具有更高的识别精度,中文输入速率为3.3 个/min。

上述方法解决了传统单一模式下眼机交互系统难以分辨有意眼动的问题,也体现了多模态人机交互应用的实用性和有效性。可见,多模态生物电交叉融合技术是解决“米达斯触碰”问题的又一条可靠途径。

除此之外,还有一些与主流研究不同的解决方案,如文献[27]通过施加两种空间旋转的声音,诱发失能患者产生无意水平眼动,从而根据眼动产生的EOG信号判断失能患者对两种声音的选择意图。

以上所有研究均针对眼动引起的EOG信号进行分析,根据有意/无意眼动不同特点提出解决“米达斯触碰”问题的方案。鉴于大多数研究对使用场景有较强针对性,因此,想要客观、全面地比较分类方法的特点,应该结合实现功能和使用环境来进行综合分析。

3. 典型应用与性能分析

有意眼动的识别研究是眼机交互系统的核心,应用领域多样、前景广阔,因此日益受到学术界重视,同时也取得了一定的研究成果。受限于文章篇幅,本文仅选取部分具有代表性的解决方案,并结合其应用场景展开性能比较。

3.1. 眼控轮椅

轮椅作为失能人群日常出行使用较为频繁的代步工具,研究人员已对其展开了广泛研究。如何将传统的手动控制轮椅改造为方便易用的眼控轮椅,并且兼顾指令准确性和信息传输速率,这是需要解决的难题之一,也是相关产品应用和推广的重中之重。

目前,典型的眼控轮椅实现方法如表1所示,其中有意眼动平均识别准确率最高的解决方案是基于眨眼时长[12],分类准确度达98.7%。通过刻意控制眨眼时长虽能简单、高效地实现眼动分类,但实用性和舒适性较差,并不适合在失能人群中广泛推广。文献[18]基于眨眼阈值自适应改进开发出的眼控轮椅,将双目眨眼和单目眨眼归为有意眼动,用于控制电动轮椅的启动/停止和左转/右转。该系统采用相关系数作为眼动分类的特征值,有效消除了因使用者个体差异性引起的问题,有意/无意眼动分类的平均准确度为98.28%。

表 1. Comparison of research results and performance of eye-control wheelchair technologies.

眼控轮椅技术的研究成果与性能比较

文献 分类方法 识别类型 平均准确度 备注
[12] 眨眼时长 4向眼动、有意眨眼 98.70% 利用4种不同方向的眼动类型和最邻近节点算法分类
[28] 眨眼阈值 4向眼动、有意眨眼 90.00% 利用4种不同方向的眼动类型驱动轮椅沿4个方向运动
[18] 阈值自适应 无意眨眼、单次、两次有意眨眼 98.28% 采用相关系数作为特征值,径向基函数作为特征分类器
[19] 阈值自适应 单次、两次、三次有意眨眼 93.89% 利用眨眼速度及信号的幅度、持续时间进行多阈值分类
[21] 模式识别 2向眼动、有意眨眼 92.25% 利用2种不同方向的眼动类型和小波变换提取特征,随机森林算法分类
[29] 多模态 有意眨眼、扬眉运动 96.20% 轮椅速度0.2 m/s,位置精度达0.23 m
[30] 多模态 两次眨眼 约90.00% 借助蓝牙模块完成端到端的控制

通过对比上文中相关研究数据不难得出,依赖单一阈值(如波形幅度)分类的准确度较低,而使用阈值自适应优化可以利用算法自动微调阈值,有效提高了分类的准确性,也为后续研究提供了新思路。还有研究者采用SVM算法分类,分别提取最大化相关系数、阈值相关系数、阈值持续时间作为特征参数[18],在分类准确度方面优于文献[19]的振幅、持续时间和速度参数特征分类。多模态分类方法针对单一模式下眼机交互系统难以分辨有意眼动的问题进行优化,取得了良好的分类效果,相关研究具有一定的指导价值[29-30]

3.2. 眼控键盘

基于有意眼动也可以开发出眼控键盘,使用者通过转动眼球来自由地选择输入字符,能够实现失能人群的基本交流。与眼控轮椅相比,眼控键盘对信息传输速率的要求更高。除此之外,该系统还需要简化字符选定流程,在最大程度上减轻用户使用过程中的眼部负担。

根据眼控键盘系统对有意/无意眼动的分类机制,典型的研究成果汇总在表2中。文献[25]基于多模态信号(EOG信号、EEG信号)开发出了一套新型键盘系统。该系统通过分析8种不同方向的眼动类型(8向眼动)的EOG信号来选取字符,进一步检测EEG信号中SSVEP电位来确定目标。该眼控键盘系统的输入平均准确度为94.16%,信息传输速率为70.99 bits/min。

表 2. Comparison of research results and performance of eye-control keyboard technologies.

眼控键盘技术的研究成果与性能比较

文献 分类方法 识别类型 平均准确度 备注
[14] 眨眼阈值 有意眨眼 96.73% 结合了SSVEP信号
[15] 眨眼阈值 有意眨眼 97.73% 提出了动态阈值算法优化
[31] 眨眼阈值 9向眼动、有意眨眼 89.00% 以9种不同方向眼动类型进行识别,系统兼具无线和低成本特点
[32] 眨眼阈值 有意眨眼 87.00% 使用虚拟现实技术展示键盘界面
[20] 阈值自适应 5类眼动 94.52% 为5种基本笔画编码,作为字符特征
[25] 多模态 8向眼动、SSVEP信号 94.16% 利用眼动选取目标,SSVEP信号确定目标
[26] 多模态 8向眼动、VOG信号 89.96% 双模态特征为EOG信号的小波包系数和VOG数据的二维小波特征

当前研究表明,采用多种生物电信号综合分析的多模态系统相对于仅分析EOG信号的单模态系统,在准确度、误判率、信息传输速率和功能多样化等方面更具有优势,我国相关学者在该领域颇有建树[26, 29, 3335]。当受试者发生眼动时,包括EOG信号在内的多种生物电信号会同时发生变化,多模态眼机交互系统根据多类信号特征对其进行综合分析,可以更全面地反映个体的眼动信息。然而,目前基于多模态信号的研究成果缺乏实际应用,一方面便携式设备的算力不足以支撑大规模信号的处理;另一方面分析多模态信号的时延较高,无法满足部分场景实时处理的需求,故仍处于研究阶段。

3.3. 眼机交互界面

与眼控键盘类似,眼机交互界面系统也是失能人群与外界进行信息交互的媒介,有望替代传统病床旁的手动式“一键呼叫系统”。为了避免“米达斯触碰”问题,根据用户意愿及时执行相关指令,设计为“九宫格”样式的界面有助于提高输入的准确度和速度。

利用眼机交互界面系统,可以辅助医院、养老院和福利院等机构的看护人员提升服务效率。现有研究成果已经可以利用EOG信号完成呼叫家人、护士,发出饥饿、如厕提示,以及接听、拨打电话等任务,相关研究如表3所示。有学者使用实验室虚拟仪器工程软件LabVIEW(National Instruments Inc.,美国)实现了一种EOG信号处理算法[36]。这套图形化操作界面采用斜率来描述信号的波形特征从而完成眼动分类任务,实现了表示当前状态、输入文本内容、控制电视、控制病床姿态和绘画等多项功能,这些多功能任务的融合增强了该系统的实用性和交互性。文献[38]开发的用于眼控鼠标的人机界面,利用不同类型EOG信号阈值范围不同的特点,实现了4个方向眼动和有意眨眼的识别。该系统已成功应用于当地一家医院的重症加强护理病房,分类识别的平均准确率为96.6%,信息传输速率为151.2 bits/min,算法延迟共计0.24 s。

表 3. Comparison of research results and performance of eye-machine interfaces.

眼机交互界面的研究成果与性能比较

文献 分类方法 识别类型 平均准确度 备注
[36] 多次眨眼 8向眼动、有意眨眼 未提供 采用双阈值来检测多次眨眼
[13] 眨眼阈值 有意眨眼 95.25% 用户需要与相应按键闪烁频率同步眨眼
[16] 眨眼阈值 有意眨眼 93.60% 利用EOG信号的幅值和持续时间分类
[37] 眨眼阈值 有意眨眼 94.15% 以信号持续时间为特征,进行波形检测

除此之外,有意/无意眼动分类识别技术应用较多的场景还有眼控鼠标[8, 22, 39]等,这些研究成果和相关产品为失能人群带来了福音。不难看出,近年来EOG数据在特征提取和分类识别方面不断发展且均取得良好成果。只要能够解决“米达斯触碰”问题,补上这块短板,有意/无意眼动的分类难题就会迎刃而解。相应的,基于EOG信号的人机交互系统产品也有望得到大面积普及。

4. 总结与展望

在国内外学者的不懈努力下,过去几十年里眼机交互技术取得了较高程度的发展,但还存在着一些亟待解决的问题。首先是有意/无意眼动的判别(即“米达斯触碰”问题)迟迟没能得到有效解决,难以对有意/无意眼动信号实现精准分类,制约了眼机交互技术的进一步发展。其次,为了维持眼球表面的湿润状态,人体会产生周期性的无意识眼动,这种眨眼使得EOG信号耦合基线漂移噪声对有意眼动产生干扰。最后,EOG信号的识别率还有待提高,尤其是对于微小眼动引起的信号变化较难实现精准采集。提高EOG信号预测眼球偏转角度的精确度,也是一个比较关键的问题。

有意/无意眼动的识别是眼机交互的关键技术之一,在医疗、生活、教育等诸多领域具有广阔的应用前景。除了上述的几种应用外,有意/无意眼动还可以用于判断儿童的注意力,纠正学生上课时的不良习惯,训练其听讲的专注度;在智能交通方面,有意眼动可以用来控制导航仪等车载辅助电子设备,无意眼动可用于监测驾驶员的疲劳程度,对疲劳驾驶行为进行及时提醒以降低道路事故率;在国防军事领域,眼睛对于移动目标的捕捉极其灵敏,如果能将某些装备上的电子火控系统由手动瞄准改进为眼机交互辅助锁定,则能在突发状况下瞬间锁定敌人,赢得先发制人的宝贵时机。

EOG信号是一种典型的一维时间序列数据,伴随用户的眼动呈现出相应的变化,具有较强的统计特性。在早期的相关文献中,研究人员聚焦于EOG信号在时域上的特征展开分类研究,取得了一定的成果。随着研究的进一步深入,EOG信号相应的分类算法越来越多样,能够细分出更多的眼动类型,兼顾了分类准确率、信息传输速率和系统时延。在此基础上,如果可以探索出基于迁移学习的分类模型,就可以省去训练分类器的漫长过程,实现开箱即用的目的。同时,EEG数据、ECG数据、EMG数据和EOG数据在信号的处理和分析方面存在共通之处,因此有必要研究基于EOG信号的迁移学习,推动其他生物电信号的研究进展。

综上所述,基于有意/无意眼动的眼机交互技术将继续蓬勃发展,且随着其应用领域的不断拓展,会更好地服务人类社会。在未来,眼机交互将会催生出越来越多新奇的应用设备,并逐渐融入人们生产、生活之中,甚至可能成为今后人机交互领域的关键技术。

重要声明

利益冲突声明:本文全体作者均声明不存在利益冲突。

作者贡献声明:刘佳镕为综述主要撰写人,完成相关文献资料的收集和分析及论文初稿的写作;王林瑶参与文献资料的分析、整理;吴迎年为论文的构思者及负责人,指导论文写作;贺庆为论文的主要审核人。

Funding Statement

国家自然科学基金资助项目(9011723201);北京市自然科学基金青年基金资助项目(4214080);北京市教委科技计划一般项目(KM201911232019, KM202011232008)

National Natural Science Foundation of China; Natural Science Foundation of Beijing, China; Beijing Municipal Education Commission Science and Technology Program

References

  • 1.中国国家统计局. 中国统计年鉴—2020. (2020-09-23) [2021-07-30]. http: //www.stats.gov.cn/tjsj/ndsj/2020/indexch.htm.
  • 2.陈玉英, 隋光远, 瞿彬 自主控制眼跳:实验范式、神经机制和应用. 心理科学进展. 2008;16(1):154–162. [Google Scholar]
  • 3.李可洋. 基于LabVIEW的眼电监护系统设计. 呼和浩特: 内蒙古大学, 2012.
  • 4.Lee J S, Lee H J, Lee W K, et al Development of online speller using non-contact blink detection glasses. Journal of Biomedical Engineering Research. 2015;36(6):283–290. doi: 10.9718/JBER.2015.36.6.283. [DOI] [Google Scholar]
  • 5.Heo J, Yoon H, Park K S A novel wearable forehead EOG measurement system for human computer interfaces. Sensors (Basel) 2017;17(7):1485. doi: 10.3390/s17071485. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 6.姜羽, 王连明 基于Emotiv Epoc+的眼动信号采集与识别方法研究. 东北师大学报:自然科学版. 2019;51(2):59–64. [Google Scholar]
  • 7.Anuradha R, Rathi G, Graceselvarani A, et al. Real time electric light control using EOG signals//2021 International Conference on Innovative Trends in Information Technology (ICITIIT), Kottayam: IEEE, 2021: 1-4.
  • 8.Septanto H, Prihatmanto A S, Indrayanto A. A computer cursor controlled by eye movements and voluntary eye winks using a single channel EOG//2009 International Conference on Electrical Engineering and Informatics, Selangor: IEEE, 2009(1): 117-120.
  • 9.Yildiz M, Ülkütaş H Ö A new PC-based text entry system based on EOG coding. Advances in Human-Computer Interaction. 2018;2018(2):1–8. [Google Scholar]
  • 10.Yu Y, Liu Y, Yin E, et al An asynchronous hybrid spelling approach based on EEG-EOG signals for Chinese character input. IEEE Trans Neural Syst Rehabil Eng. 2019;27(6):1292–1302. doi: 10.1109/TNSRE.2019.2914916. [DOI] [PubMed] [Google Scholar]
  • 11.Molina-Cantero A J, Lebrato-Vázquez C, Merino-Monge M, et al Communication technologies based on voluntary blinks: assessment and design. IEEE Access. 2019;7:70770–70798. doi: 10.1109/ACCESS.2019.2919324. [DOI] [Google Scholar]
  • 12.ÇETİNEL G, Sevda G Ü L, TİRYAKİ Z, et al. Move your wheelchair with your eyes. International Journal of Applied Mathematics Electronics and Computers, 2017, 1(Special Issue): 5-8.
  • 13.Xiao Jing, Qu Jun, Li Yuanqing An electrooculogram-based interaction method and its music-on-demand application in a virtual reality environment. IEEE Access. 2019;7:22059–22070. doi: 10.1109/ACCESS.2019.2898324. [DOI] [Google Scholar]
  • 14.Saravanakumar D, Reddy R A brain computer interface based communication system using SSVEP and EOG. Procedia Comput Sci. 2020;167(6):2033–2042. [Google Scholar]
  • 15.唐秀雯, 李享运, 陈广源, 等 基于眼电的字符输入系统. 计算机系统应用. 2020;29(1):93–98. [Google Scholar]
  • 16.Zhang Rui, He Shenghong, Yang Xinghua, et al An EOG-based human–machine interface to control a smart home environment for patients with severe spinal cord injuries. IEEE Trans Biomed Eng. 2019;66(1):89–100. doi: 10.1109/TBME.2018.2834555. [DOI] [PubMed] [Google Scholar]
  • 17.Jalilifard A, Chen D, Mutasim A K, et al Use of spontaneous blinking for application in human authentication. Engineering Science and Technology, an International Journal. 2020;23(4):903–910. doi: 10.1016/j.jestch.2020.05.007. [DOI] [Google Scholar]
  • 18.Nakanishi M, Mitsukura Y. Wheelchair control system by using electrooculogram signal processing//The 19th Korea-Japan Joint Workshop on Frontiers of Computer Vision, Incheon: IEEE, 2013: 137-142.
  • 19.Choudhari A M, Porwal P, Jonnalagedda V, et al An electrooculography based human machine interface for wheelchair control. Biocybern Biomed Eng. 2019;39(3):673–685. doi: 10.1016/j.bbe.2019.04.002. [DOI] [Google Scholar]
  • 20.Ding X J, Lv Z Design and development of an EOG-based simplified Chinese eye-writing system. Biomedical Signal Processing and Control. 2020;57(4):101767. [Google Scholar]
  • 21.陈振东, 杨飞帆, 刘惠鹏 融合眼电及头部姿态的智能轮椅控制. 计算机测量与控制. 2019;27(11):74–78. [Google Scholar]
  • 22.Kabir A, Shahin F B, Islam M K Design and implementation of an EOG-based mouse cursor control for application in human-computer interaction. J Phys Conf Ser. 2020;1487(1):012043. doi: 10.1088/1742-6596/1487/1/012043. [DOI] [Google Scholar]
  • 23.Ravichandran T, Kamel N, Al-Ezzi A A, et al. Electrooculography-based eye movement classification using deep learning models//2020 IEEE-EMBS Conference on Biomedical Engineering and Sciences (IECBES), Langkawi: IEEE, 2021: 57-61.
  • 24.Ma J, Zhang Y, Cichocki A, et al A novel EOG/EEG hybrid human-machine interface adopting eye movements and ERPs: application to robot control. IEEE Trans Biomed Eng. 2015;62(3):876–889. doi: 10.1109/TBME.2014.2369483. [DOI] [PubMed] [Google Scholar]
  • 25.Saravanakumar D, Reddy M R A virtual speller system using SSVEP and electrooculogram. Advanced Engineering Informatics. 2020;44:101059. doi: 10.1016/j.aei.2020.101059. [DOI] [Google Scholar]
  • 26.丁晓娟. 融合EOG与视频的扫视眼动信号识别及应用研究. 合肥: 安徽大学, 2019.
  • 27.Kim D Y, Han C H, Im C H Development of an electrooculogram-based human-computer interface using involuntary eye movement by spatially rotating sound for communication of locked-in patients. Sci Rep. 2018;8(1):9505. doi: 10.1038/s41598-018-27865-5. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 28.Bhuyain M F, Kabir Shawon M , Sakib N, et al. Design and development of an EOG-based system to control electric wheelchair for people suffering from quadriplegia or quadriparesis//2019 International Conference on Robotics, Electrical and Signal Processing Techniques (ICREST), Dhaka: IEEE, 2019: 460-465.
  • 29.Huang Q, Zhang Z, Yu T, et al An EEG-/EOG-based hybrid brain-computer interface: application on controlling an integrated wheelchair robotic arm system. Frontiers in neuroscience. 2019;13:1243. doi: 10.3389/fnins.2019.01243. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 30.Lahane P, Adavadkar S P, Tendulkar S V, et al. Innovative approach to control wheelchair for disabled people using BCI//2018 3rd International Conference for Convergence in Technology (I2CT), Pune: IEEE, 2018: 1-5.
  • 31.Ka Hou H, K g. S. Low-cost wireless electrooculography speller//2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Miyazaki: IEEE. 2018:123–128. [Google Scholar]
  • 32.Kim B J, Kwon K C, Yang Y M, et al Keyboard for virtual reality head mounted display using electro-oculogram. The Journal of the Korea Contents Association. 2018;18(1):1–9. [Google Scholar]
  • 33.石和兵. 基于迁移学习的眼电分类研究与应用. 广州: 华南理工大学, 2019.
  • 34.尧德中. 脑-机接口: 如何从实验室到现实场景?. 生物医学工程学杂志, 2021, 38(3): 405-408.
  • 35.秦云, 刘铁军, 尧德中 脑器交互学——脑与外界协同的新学科. 生物医学工程学杂志. 2021;38(3):507–511. doi: 10.7507/1001-5515.202101039. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 36.Munteanu M, Magda A, Moga R, et al. EOG based controll of a graphical interface system for assisting paraplegic patients//2019 8th International Conference on Modern Power Systems (MPS), Cluj Napoca: IEEE, 2019: 1-4.
  • 37.He Shenghong, Zhou Yajun, Yu Tianyou, et al EEG- and EOG-based asynchronous hybrid BCI: a system integrating a speller, a web browser, an E-mail client, and a file explorer. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2020;28(2):519–530. doi: 10.1109/TNSRE.2019.2961309. [DOI] [PubMed] [Google Scholar]
  • 38.陈卫东, 李昕, 刘俊, 等 基于数学形态学的眼电信号识别及其应用. 浙江大学学报:工学版. 2011;45(4):644–649. [Google Scholar]
  • 39.Zhang J, Wang B, Zhang C, et al Volitional and real-time control cursor based on eye movement decoding using a linear decoding model. Comput Intell Neurosci. 2016;2016(5):4069790. doi: 10.1155/2016/4069790. [DOI] [PMC free article] [PubMed] [Google Scholar]

Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University

RESOURCES