基于流形学习的多视角信号融合在睡眠分期的研究

Abstract

Sleep disorders and sleep disturbances are gaining increasing attention, and accurate sleep staging is key to assessing sleep quality. Existing studies utilize spatio-temporal features of multi-channel physiological signals such as EEG and spatial topological information of brain regions for sleep staging, but they suffer from insufficient mining of spatio-temporal correlations, neglect of the nonlinear geometric structure of signals, and feature redundancy, leading to low accuracy in sleep stage classification. To address these problems, this paper proposes a multi-view spatio-temporal convolutional integration network based on manifold learning. Firstly, three types of feature representations of multi-physiological signals are constructed via short-time Fourier transform, discrete wavelet transform, and raw signal processing. Secondly, an attention module that fuses Euclidean space and manifold geometry is designed to represent and enhance multi-modal physiological signals on the Riemannian symmetric positive definite manifold, mining their potential spatio-temporal representations. Finally, combining these three types of sleep features from adjacent time segments, long short-term memory (LSTM) is used to model temporal dependencies to accomplish sleep stage classification. Experimental results on public sleep stage classification datasets show that the proposed method outperforms existing mainstream methods in accuracy, F1-score, and Kappa coefficient, and ablation studies validate the effectiveness of the manifold attention mechanism and multi-view feature combination. This work provides a new method for nonlinear fusion of multi-modal physiological signals.

0. 引言

准确的睡眠分期是客观评估睡眠质量与诊断睡眠障碍的基础^[1-5]。睡眠分期结果能够揭示受试者整夜各睡眠阶段的时长与比例，为临床判断提供重要依据。常规操作中，由经验丰富的技师依据美国睡眠医学学会（American Academy of Sleep Medicine，AASM）颁布的标准，对多导睡眠图（polysomnography，PSG）记录的数据以30 s为一帧进行人工判读，从而划分出相应的睡眠阶段。AASM标准将整夜睡眠划分为清醒期（wake，W）、非快速眼动期（no rapid eye movement，NREM）1期（N1）、NREM 2期（N2）、NREM 3期（N3）以及快速眼动期（rapid eye movement，REM）共五个阶段。尽管这种人工判读被视为“金标准”，但它在实际应用中存在明显局限^[6-10]。例如，受试者须在专用的睡眠实验室内完成信号采集，过程繁琐且对检测环境要求较高；同时，该分期结果容易受到技师个人经验与主观判断的影响，不同评分者之间的判读一致性欠佳^[11-14]。为克服上述不足，基于计算机辅助的自动睡眠分期方法应运而生。这类方法早期多以频域分析为主，通过对脑电（electroencephalogram，EEG）信号进行傅里叶变换获取频谱特征。然而，EEG信号本身具有明显的非平稳性和非线性，而傅里叶变换隐含平稳性假设，导致单一的频域表示难以充分捕捉其动态特性^[15-19]。为此，Alickovic等^[20]较早引入离散小波变换（discrete wavelet transform，DWT）来提取睡眠期间的时频特征，并利用支持向量机完成分期，从而突破了平稳性假设的限制。此后，短时傅里叶变换（short-time Fourier transform，STFT）、小波变换以及维格纳分布等时频分析技术在EEG信号处理中得到了广泛关注和应用。

随着深度学习的发展，基于多层神经网络直接从多通道生理信号中端到端地学习分期特征的方法不断涌现。例如，Phan等^[21]将循环网络与长短期记忆网络（long short-term memory，LSTM）相融合并引入注意力机制，以多通道时频谱作为输入，有效提升了睡眠分期的准确率。为增强模型对大脑活动的可解释性，多视角时空图卷积网络（multi-view spatial-temporal graph convolutional network，MSTGCN）^[22]利用脑功能连接和物理距离等先验信息构建两个互补的脑视图，实现了具有域泛化能力的睡眠阶段分类。而文献 [23]报道的时空自适应图网络则通过自适应地学习时间依赖关系和导联间关联，进一步改善了睡眠分期精度。此外，文献[24]通过构造时频图像并与图学习架构相结合，大幅提高了该研究在睡眠分期上的表现。此外，Dong等^[25]借助多层感知器与LSTM构建混合网络，以联合捕获EEG和眼电（electrooculogram，EOG）信号中的信息，用于睡眠分期；Lyu等^[26]提出了一种广义的EEG与心电（electrocardiogram，ECG）多模态特征组合方案，在保证分类效率的同时提高了睡眠分期精度。上述工作均表明，融合多模态生理信号能够有效提升睡眠分期任务的性能。此外，Lee等^[27]基于鼻腔压力的单一信号，提出了由多核卷积神经网络和双向LSTM组成的深度学习结构，取得了较好的睡眠分期效果。Eldele等^[28]通过实验证明了仅用5%的标记数据对预训练的睡眠分期模型进行微调，就可以获得与全标记监督训练相当的性能。上述方法多致力于通过设计新颖的网络结构（如自适应图网络等）来学习时空特征；而与之不同的是，本文重点关注多模态特征映射高维空间的特征表达与增强，从而在特征层面提升睡眠分期性能。

然而，现有研究仍存在以下三方面的不足：第一，大多数工作仅聚焦于时间序列、时频谱图等欧几里得空间数据，未能充分利用EEG、EOG等生理信号在非欧几里得空间中的几何结构信息。事实上，多通道生理信号之间的协方差矩阵天然构成对称正定（symmetric positive definite，SPD）流形，直接在该流形上建模可更自然地捕捉通道间的非线性关联。第二，现有方法对空间拓扑与时序特征的融合多采用简单拼接或加权求和，缺乏能够深度融合多模态信号潜在特征的高级集成策略，导致特征冗余且时空关联挖掘不充分。第三，现有特征映射方法在应对不同数据集的数据分布差异时泛化能力不足，难以将多生理信号稳定地投影到具有判别性的高级特征空间。上述缺陷共同限制了睡眠分期精度的进一步提升。为此，本文提出一种基于流形学习的MSTGCN。针对上述第一点缺陷，本文基于黎曼SPD流形对多通道生理信号进行建模，以捕捉其非线性几何结构。针对第二点缺陷，本文设计了流形注意力机制，对原始信号、时频图和小波系数三类特征进行自适应融合。针对第三点缺陷，本文通过流形学习提取对数据分布变化更鲁棒的特征表示，以提升跨数据集泛化能力。如图1所示，本文方法主要由四部分构成：多模态信号表示、多视角特征提取、基于流形注意力的特征融合、睡眠分期。

图 1.

The proposed sleep stage classification framework based on manifold learning and multi-view signal integration

基于流形学习的多视角信号融合的睡眠阶段分类框架

1. 实验方法

1.1. 多模态信号表示

为了有效捕捉多模态信号间的关联性，本文采用集成策略进行信息特征提取，具体包括STFT、DWT以及原始信号特征提取。其中，STFT刻画了频率分量随时间演变的特性，而离散小波变换将信号分解为时频分量，有助于揭示细粒度细节与突变特征，这些特征对睡眠分期具有重要的判别意义。通过结合两者的优势，可实现对信号的互补性频域分析。此外，为保留时域信息，本文将原始信号分析纳入特征提取框架。

（1）STFT计算：STFT的基本思想是通过一个在时间上滑动的有限长度窗函数，将长的非平稳信号分割成一系列近似平稳的短时段，然后对每一个加窗后的短时段信号进行傅里叶变换，从而得到该时段内信号的局部频谱。进一步，通过窗函数在时间轴上的移动，最终获得信号频率成分随时间演变的二维表示，即时频谱图。与文献[8]一致，本文对每个30 s的睡眠分期片段执行STFT，采样频率为1，窗口的宽度设置为100。最终，得到时频图的尺寸为100 × 100 × 10，分别对应时间帧数 × 频率点数 × 通道数。

（2）DWT计算：在本文的多模态信号处理流程中，对每段30 s的原始信号进行6层DWT，提取各层的细节系数，并串联成一维特征序列，该序列随后输入一维卷积神经网络（one dimensional convolutional neural network，1D-CNN）进行特征提取。这种方法能够有效地捕捉信号在不同分辨率下的复杂特征，极大地丰富了整体特征表示。由此构建的多尺度特征集，为后续睡眠分期任务提供了更具精细度与可靠性的信息基础。

1.2. 多视角特征提取

由于现已证明从不同域提取特征可以提高睡眠分期的精度，在得到谱域、时间域的信号关系表示后，本文对其进行多种形成互补的特征提取，从不同视角反映睡眠信号的特征。

（1）频谱特征提取：给定输入的频谱图像，本文采用16层视觉几何组网络（visual geometry group 16-layer network，VGG-16）进行谱域特征提取。

（2）原始信号特征提取：区别于MSTGCN与文献[8]等方法采用深度图神经网络来提取睡眠信号的时空特征，本文主要关注于多模态特征的融合，因此仅在特征提取阶段采用简单的1D-CNN进行时域特征提取。如图2所示，该网络包含两个分支，其核心区别在于卷积核尺寸不同，旨在分别捕捉信号中不同时间尺度的特征模式。最后，两个分支提取的特征通过特征级联方式进行融合，以更全面地表征与睡眠阶段相关的生理变化。

图 2.

1D-CNN feature extraction network for raw signal process

针对原始信号的1D-CNN时域特征提取结构

（3）小波特征提取：为简化模型设计，其特征提取采用与原始信号特征提取相同的网络结构。

1.3. 基于流形注意力的特征融合与睡眠分期

通过前述步骤从谱域与时域视角提取多视角特征后，与直接将特征级联进行睡眠分期不同，本文引入了流形注意力模块进行特征融合。流形是欧几里得空间中曲线和表面的推广，是一个局部可以看作是希尔伯特空间中的开集的拓扑空间。本文在黎曼SPD流形上充分表征生理数据的时空表示，将空间信息表示为特定的协方差矩阵，通过编码通道之间的关系，增强对睡眠信号的表示能力。基于流形注意力的特征融合架构包括三部分，分别是：从欧几里得空间映射到黎曼空间、流形注意力模块、从黎曼空间映射到欧几里得空间。

1.3.1. 从欧几里得空间映射到黎曼空间

本文首先将多视角特征从欧几里得空间映射到黎曼SPD流形。以时频图特征为例，假定其特征为s’，将其切分为几个部分s₁’, s₂’, …, s_m’，并计算每个特征样本的协方差矩阵，这些协方差矩阵以SPD数据的形式呈现了编码的时间信息，分别表示为,, …, 。之后，对每个协方差矩阵进行归一化处理，并在每个对角元素上添加个常量 \varepsilon （设置为1 × 10⁻⁵），确保每个样本（即，, i = 1, 2, ···, m）是定义好的SPD矩阵。

1.3.2. 流形注意力模块

流形注意力模块的总体架构如图3所示。

图 3.

Feature fusion based on manifold attention

基于流形注意力的特征融合

该模块的输入为SPD矩阵序列，输出为。本文通过双线性映射将每个样本x_i’转换为q_i、k_i与v_i，如式(1)～式(3)所示：

1

2

3

式中，g_q、g_k与g_v表示从x_i’到q_i、k_i与v_i的映射，T为转置符号。为了保证q_i、k_i与v_i均是SPD矩阵，W_q、W_k与W_v被约束为行满秩矩阵。

在得到q_i、k_i与v_i后，在欧几里得空间中一般采用点积的方式度量q_i与k_i的相似性，由于本文的q_i、k_i与v_i是SPD矩阵，因此采用文献[29]的对数欧几里得距离（log-Euclidean metric，LEM）来进行度量。对于任意两个SPD矩阵P₁与P₂的LEM距离，如式(4)～式(5)所示：

4

5

式中，U是SPD矩阵的特征向量矩阵，diag(·)代表提取矩阵的对角线元素，T代表矩阵的转置，F代表弗罗贝尼乌斯范数；“σ₁, …, σ_n”代表矩阵的特征值；ℓ 代表对数映射操作。假定得到了q_i与k_j，二者之间的相似度 sim(· ) 计算公式如式(6)所示：

6

式中，a_ij代表q_i与k_j之间的相似度得分。之后，即可得到注意力矩阵A，如式(7)所示：

7

并且，沿行方向使用归一化指数函数 f(· ) ，使行中的值具有凸约束性质，最终得到的注意概率矩阵，如式(8)～(9)所示：

8

9

在此基础上，根据注意力概率矩阵以及“v₁, v₂, ···, v_m”通过LEM，即可得到时空注意力的输出。流形注意力中的加权融合模块的计算过程为：首先将各SPD矩阵v_i通过对数映射投影到切空间，得到切空间向量log(v_i) ；然后在切空间内根据注意力权重进行线性加权求和，即；最后，通过指数映射exp(·)将加权结果映射回SPD流形，得到最终的流形注意力输出。这一过程保证了输出仍位于SPD流形上，且保留了流形结构的几何信息。

1.3.3. 从黎曼空间映射到欧几里得空间

为了便于后续的睡眠分期，需要将流形数据映射回欧几里得空间。在本文中，该模块由1个对数层与一个展平层组成^[14]。本文对原始信号时域特征、时频图特征以及小波变换特征分别执行流形注意力，得到了三类特征F_RAW、F_STFT和F_DWT，并且直接使用全连接层完成睡眠信号的分期。通过若干轮模型的迭代训练后，将F_RAW、F_STFT和F_DWT保存。为了在低复杂度网络模型的前提下提升睡眠分期的精度，本文先将相邻时间窗的特征进行横向拼接，得到了F_RAW’、F_STFT’和F_DWT’，为了挖掘T_n维度睡眠信号的时序依赖性，将这三类特征进行特征级联，并采用两层的LSTM完成对睡眠阶段动态演变的建模，最终将提取的高阶时序特征通过全连接层完成睡眠分期。

2. 实验结果与分析

2.1. 数据集

本文使用科英布拉大学系统与机器人研究所（institute of systems and robotics of the University of Coimbra，ISR-UC）与科英布拉大学医院睡眠医学中心（sleep medicine center of the hospital of the University of Coimbra，CHUC）共同采集并公开的 ISR-UC第一亚组（ISR-UC subgroup 1，ISRUC-S1）与ISR-UC第三亚组（ISR-UC subgroup 3，ISRUC-S3）睡眠数据集，对所提出方法进行验证。ISRUC-S3数据集包含了10名健康受试者的PSG数据，ISRUC-S1数据集包含了100名健康受试者的PSG数据。这两组数据均包括6个EEG通道、2个EOG通道、3个肌电（electromyography，EMG）通道以及1个ECG通道，信号的采样频率都是200 Hz，并根据AASM标准分为5个睡眠阶段。为了确保实验的公平性，本文使用相同的实验参数训练所有的消融实验模型，并且在两个数据集上采用10折交叉验证。

2.2. 实验细节

两个数据集的对比实验均在单个图形处理器NVIDIA GeForce RTX 3090（NVIDIA Corporation，美国）上进行，并采用深度学习框架PyTorch（Meta Platforms，Inc.，美国）实现。首先分别在两个睡眠数据集上训练基于原始信号、基于时频图以及基于小波特征的睡眠分期模型，其中学习率为1 × 10⁻³，采用自适应矩估计（adaptive moment estimation，Adam）优化器，权重衰减系数为2 × 10⁻³，批次大小为256，迭代次数为80次。训练与测试数据的划分方式与MSTGCN保持一致，使用交叉熵损失函数进行100轮次训练，并通过10折交叉验证保证结果的稳定性。之后，将三份经过流形学习模块输出的特征向量进行级联，继续通过10折交叉验证进行100轮的训练。

本文采用的评价指标包括：准确率（accuracy，Acc）、精确率（precision，Pre）、召回率（recall，Rec）、F1分数（F1-score，F1）及卡帕（Kappa）系数，具体表示如式(10)～式(14)所示：

10

11

12

13

14

式中，真阳性（true positive，TP）表示正类别中正确分类样本的数量；真阴性（true negative，TN）表示负类别中正确分类样本的数量；假阳性（false positive，FP）表示正类别中错误分类样本的数量；假阴性（false negative，FN）是负类别中错误分类样本的数量。p_o表示总体分类精度，p_e表示偶然一致性误差。F1是召回率和精确率的调和平均值，Kappa用于衡量分类模型预测结果与真实标签之间的一致性。

2.3. ISRUC-S3数据集对比结果

本文方法与MSTGCN等主流方法^{[20, 22, 30-34]}在ISRUC-S3数据集上的定量对比结果如表1所示，加粗数值表示最优结果。

表 1. Quantitative comparison with mainstream methods on ISTRU-S3 dataset.

与主流方法在ISTRU-S3数据集的定量对比

模型	总体结果					各睡眠阶段的F1分数
	准确率	F1分数	Kappa系数	W		N1	N2	N3	REM
文献[20]	0.779	0.758	0.713	0.860		0.469	0.760	0.875	0.828
文献[30]	0.799	0.787	0.741	0.878		0.574	0.776	0.864	0.841
文献[33]	0.831	0.814	0.782	0.900		0.598	0.826	0.901	0.845
MSTGCN[22]	0.821	0.808	0.769	0.894		0.596	0.806	0.890	0.856
文献[34]	0.788	0.779	0.730	0.887		0.602	0.746	0.858	0.802
文献[31]	0.830	0.821	0.782	0.899		0.625	0.819	0.899	0.860
文献[32]	0.832	0.814	0.783	0.896		0.596	0.832	0.909	0.838
本文方法	0.842	0.830	0.796	0.887		0.634	0.840	0.918	0.867

总体而言，本文所提方法在多项评价指标上均表现最优。与传统机器学习方法相比，基于深度学习的模型能够更好地学习复杂信号中的时空特征，因而性能显著提升。在此基础上，文献[30]与MSTGCN通过图结构建模脑区之间的非欧几里得空间关系，有效捕捉了生理信号的拓扑关联，从而进一步提高了睡眠分期的准确率。此外，本文方法在不依赖基于图学习框架的前提下，通过MSTGCN架构直接处理一维卷积提取的原始信号特征，同时融合时频图分析和小波变换特征，通过流形注意力进行睡眠多视角信号融合，在N1、N2、N3与REM四个阶段的分类精度最高。这表明，在SPD流形上充分表征生理数据的时空表示，将空间信息表示为特定的协方差矩阵，通过编码通道之间的关系，有助于提高睡眠分期精度。

以第2折为例的模型损失以及准确率曲线如图4所示。模型在前20轮内快速收敛，训练与测试损失同步下降，准确率稳步提升；约20轮后曲线趋于平稳，未出现过拟合迹象。而其余折的收敛行为相似，验证了模型训练的稳定性。

图 4.

Comparison of loss and accuracy in training set and validation set

在训练集以及测试集的损失与准确率对比

在ISRUC-S3数据集上随机抽取来自受试者1的睡眠数据作为测试集，其余9名受试者的数据作为训练集，受试者1的每个睡眠时期的详细分类结果如图5所示，其中红点标示模型错误预测的睡眠分期。可以看出相比于MSTGCN模型，本文方法的预测结果更加接近于真实的睡眠阶段，本文仅仅在睡眠不同阶段的短暂过渡时期发生预测错误，这是由于过渡阶段的相邻信号具有相似性所导致的。

图 5.

Comparison of real sleep stage and predicted sleep stage of subject 1 based on feature fusion of manifold attention on ISRUC-S3 dataset

基于流形注意力的特征融合在ISRUC-S3数据集上关于受试者1的真实睡眠阶段和预测睡眠阶段的对比

相比于MSTGCN，为了验证引入小波特征以及基于流形注意力模块的有效性，本文开展了消融实验，定量对比结果如表2所示，加粗数值表示最优结果。其中，模型A表示MSTGCN，模型B表示仅使用MSTGCN架构直接处理一维卷积提取的原始信号特征以及时频图特征，模型C表示在模型B的基础上采用DWT特征，模型D表示对原始信号、时频特征引入流形注意力，模型E表示同时使用三类信号特征与流形注意力。表2数据显示，加入DWT特征后，准确率、F1分数、Kappa系数这三类指标得到提升，W、N1与N2这三类睡眠分期的准确率得到提升。此外，加入流形注意力模块，本文方法的性能达到了最优。例如，N1的分类准确率由0.620提升至0.634，这表明流形注意力对N1这类边界模糊的样本具有针对性的增强作用。

表 2. Quantitative comparison of ablation studies on ISTRU-S3 dataset.

在ISTRU-S3数据集的消融实验定量对比

模型	原始特征	STFT	DWT	流形学习	总体结果				各睡眠阶段分类准确率
					准确率	F1分数	Kappa系数		W	N1	N2	N3	REM
A	—				0.821	0.808	0.769		0.894	0.596	0.806	0.890	0.856
B	√	√			0.824	0.813	0.774		0.886	0.615	0.816	0.899	0.849
C	√	√	√		0.829	0.816	0.780		0.899	0.620	0.825	0.897	0.837
D	√	√		√	0.838	0.829	0.792		0.8973	0.639	0.828	0.908	0.871
E	√	√	√	√	0.842	0.830	0.796		0.887	0.634	0.840	0.918	0.867

模型A（MSTGCN）～模型E的分类混淆矩阵对比结果如图6所示。结果显示，其他四个睡眠阶段的分类性能明显高于N1阶段，这是因为N1处于W与N2阶段之间，其信号形态与二者较为形似，临床上睡眠专家往往也难以准确识别N1。相比而言，本文方法（模型E）的N1阶段分类准确率最高，总体分类性能更优。

图 6.

Comparison of the confusion matrix between the proposed method and the baseline model on ISRUC-S3 dataset

本文方法与基准模型在ISRUC-S3 数据集的混淆矩阵对比

为了验证所提出方法对不同睡眠阶段的分类能力，随机绘制了关于模型全连接层之前的特征向量的t 分布随机邻近嵌入（t-distributed stochastic neighbor embedding，t-SNE）图，如图7所示，MSTGCN与本文方法基本能够区分出受试者的不同睡眠阶段，但本文所提方法针对大部分睡眠阶段的分类性能更好。

图 7.

t-SNE comparison of Fold 7 cross-validation with MSTGCN on ISRUC-S3 dataset

在ISRUC-S3数据集上与MSTGCN关于第7折交叉验证的t-SNE对比

2.4. ISRUC-S1数据集对比结果

为了验证基于流形学习的多视角信号融合的泛化能力，并测试其在睡眠障碍患者睡眠阶段分类的性能，继续在ISRUC-S1数据集开展实验对比。本文方法与主流方法的定量对比结果如表3所示，加粗数值表示最优结果。表3数据显示，本文方法在N1、N2与N3三个睡眠阶段的分类性能更优；就准确率、F1分数和Kappa系数而言，无需通过图结构来捕捉生理信号间的拓扑关联，即可优于主流的方法。这证明了仅使用频域、时域信号特征，并在SPD流形上将空间信息表示为特定的协方差矩阵，通过编码通道之间的关联性，能够有效挖掘多视角信号潜在的时空表示。

表 3. Quantitative comparison with mainstream methods on ISTRU-S1 dataset.

与主流方法在ISTRU-S1数据集的定量对比

模型	总体结果					各睡眠阶段的F1分数
	准确率	F1分数表	Kappa系数	W		N1	N2	N3	REM
文献[33]	0.780	0.751	0.715	0.889		0.463	0.763	0.825	0.813
文献[32]	0.820	0.798	0.767	0.895		0.550	0.811	0.883	0.850
MSTGCN[22]	0.809	0.787	0.752	0.893		0.531	0.799	0.867	0.844
文献[30]	0.813	0.787	0.757	0.908		0.512	0.799	0.871	0.844
文献[31]	0.820	0.797	0.768	0.908		0.534	0.808	0.880	0.855
本文方法	0.824	0.799	0.769	0.898		0.581	0.812	0.884	0.847

ISRUC-S1数据集的混淆矩阵消融实验对比结果如图8所示。其中，模型F表示仅将原始信号特征与时频图特征进行拼接，完成睡眠分期。模型G表示将原始信号特征与时频图特征采用流形模块进行融合，完成睡眠分期。模型H表示原始信号特征、小波特征与时频图特征直接进行拼接，完成睡眠分期。模型I表示本文方法。由图8可以看出，模型F所展现的N1分类准确率最高，但总体的分类结果并不理想。在引入流形注意力模块进行睡眠特征的融合后，相比于直接对三类多视角的特征进行级联，能够进一步提升睡眠分期的准确率。

图 8.

Comparison with the confusion matrix of benchmark model on ISRUC-S1 dataset

与基准模型在ISRUC-S1数据集的混淆矩阵对比

总体而言，本文方法取得了更优的结果。此外，ISRUC-S1数据集关于特征向量的t-SNE对比结果如图9所示，相比于MSTGCN，本文方法在睡眠阶段过渡区域展现出更显著的特征可分性，这一优势直接反映在最终分期准确率的提升上。

图 9.

t-SNE comparison of Fold 7 cross-validation with MSTGCN on ISRUC-S1 dataset

在ISRUC-S1数据集上与MSTGCN关于第7折交叉验证的t-SNE对比

针对流形模块的欧几里得空间映射至黎曼空间操作，本文将多视角特征分别从欧几里得空间映射到SPD流形，将特征切分为子集，通过计算相应的协方差矩阵，并以SPD数据的形式编码信号的时序信息。其中，将三类特征切分为若干子集时，本文在实验中将切分参数设置为4。

关于引入小波特征以及基于流形注意力模块的综合消融实验如图10所示。其中，模型J表示仅使用时频图特征，模型K表示仅使用原始信号特征，模型L表示仅使用离散小波特征，模型M表示将原始信号特征与时频图特征进行级联，模型N表示将三类特征进行级联，模型O表示在模型D的基础上引入流形学习，模型P表示本文方法。结果显示，如果仅从时域或者谱域提取特征，模型的性能较差。尽管模型K在准确率、F1分数以及Kappa系数等能达到较高的结果，但仍有较大的提升空间。相比于单独使用谱域或时域特征，频谱—时间特征的融合可以进一步提高睡眠阶段的分类性能。而通过在黎曼流形空间编码通道之间的关系，则能够获得睡眠分期的最佳结果。

图 10.

Comparison with the quantitative ablation experiment of the baseline model in ISRUC-S1 dataset

本文方法与基准模型在ISRUC-S1数据集的定量消融实验对比

此外，将MSTGCN与本文方法进行跨数据集的域迁移对比，结果如表4所示，通过将ISRUC-S3作为训练集，在ISRUC-S1上直接测试（不进行任何微调）。可以看出，由于源域与目标域的受试者类型不同，所有模型性能均有下降。但本文方法的准确率仍优于MSTGCN，这表明流形注意力模块能够有效增强模型对域偏移的鲁棒性，验证了模型的泛化能力。

表 4. Quantitative comparison in ISTRU-S1 cross-domain dataset.

在ISTRU-S1跨域数据集的定量对比

模型	总体结果					各睡眠阶段的F1分数
	准确率	F1分数	Kappa系数	W		N1	N2	N3	REM
MSTGCN	0.809	0.787	0.752	0.893		0.531	0.799	0.867	0.844
本文方法	0.824	0.799	0.769	0.898		0.581	0.812	0.884	0.847
MSTGCN域迁移	0.718	0.694	0.643	0.818		0.428	0.702	0.859	0.613
本文方法域迁移	0.731	0.703	0.654	0.827		0.463	0.718	0.872	0.619

3. 结论

针对当前睡眠分期研究中存在的多模态生理信号融合效率低的问题，本文提出了一种基于黎曼流形学习的多视角信号融合网络。首先，构建包含原始信号、时频特征和小波系数的多视角表征方式。其次，引入流形几何融合机制，将不同模态的生理信号投影到统一的SPD流形空间，利用黎曼几何特性有效捕捉信号间的非线性时空关联。最后，结合深度时序建模模块，完成睡眠分期。实验结果表明，尽管本文所提出的多视角睡眠特征融合网络结构较为简单，但能显著提升睡眠分期性能，验证了本文方法在利用非欧几里得空间几何结构、融合多模态特征以及增强特征鲁棒性方面的有效性。然而，本研究仍存在一定局限性：将三类特征分别映射到SPD流形并计算对数欧几里得距离，但在长时程睡眠数据上的推理时间较长，不利于实时或边缘端应用；此外，本文实验数据虽包含两个公开数据集，但均来自同一采集设备与相似人群，缺乏多中心、跨设备、跨年龄段的泛化验证。本课题组后续工作将聚焦于轻量化流形网络，设计适用于便携式睡眠监测设备的简化版本以实现实时睡眠分期，并探索利用大量无标注睡眠数据预训练流形特征提取器，降低对标注数据的依赖。

Funding Statement

国家自然科学基金青年科学基金项目（62405145）；国家自然科学基金杰出青年科学基金项目（T2325018）；国家自然科学基金“叶企孙”科学基金项目（U2241228）；江苏省自然科学基金青年项目（BK20240641）；南京信息工程大学人才启动经费；教育部基础学科和交叉学科突破计划（JYB2025XDXM605）；上海市科技重大专项（25LN3200500）

National Natural Science Foundation of China; National Natural Science Foundation of China; National Natural Science Foundation of China; Natural Science Foundation of Jiangsu Province; Nanjing University of Information Science & Technology; Ministry of Education of China; Shanghai Committee of Science and Technology