GUIDING MASKED REPRESENTATION LEARNING TO CAPTURE SPATIO-TEMPORAL RELATIONSHIP OF ELECTROCARDIOGRAMICLR-2024研究背景与动机心电图ECG是监测心脏电活动、诊断心血管疾病的重要无创工具。标准 12 导联 ECG 可被视为一个多变量时间序列12 个导联从不同空间位置采集信号肢体导联位于额面胸导联位于水平面同时每个导联记录了随时间变化的电压波形。现有 ECG 自监督学习方法主要分为两类对比学习如 MoCo v3、CMSC/CLOCS通过数据增强前后的表征一致性进行学习。但简单的增强操作裁剪、翻转、平移可能剧烈改变 ECG 信号的语义含义如翻转可能将 ST 段抬高变成压低。生成式学习如 MaeFE 的 MTAE / MLAE借鉴 MAE 范式通过重建被遮蔽的 ECG 片段来学习表征。但现有方法要么仅做时间维度的 patchifyMTAE忽略导联间空间关系要么仅做空间维度的 patchifyMLAE忽略导联内时序关系未能同时捕获时空信息。针对上述问题作者提出了ST-MEMSpatio-Temporal Masked Electrocardiogram Modeling一种简单但有效的 ECG 自监督生成式学习框架通过时空联合 patchify 导联指示模块显式捕获 ECG 信号中的时空关系。数据集与实验任务预训练阶段合并三个公开 12 导联 ECG 数据集共188,480 条无标注 ECG将他们统一重采样至250Hz数据集名称原始采样率长度Chapman500Hz10sNingbo500Hz10sCODE-15400Hz10s下游任务心律失常 心肌梗死分类PTB-XL21,837 条 12 导联5 类NORM、CD、MI、HYP、STTCCPSC20186,877 条 12 导联9 类心律失常PhysioNet20178,528 条单导联Lead I4 类心律失常评估范式线性评估Linear Evaluation 微调Fine-tuning指标为Accuracy、F1、AUROC还包含低资源1%/5%标注和任意导联数1/6/12 导联实验架构图与核心方法整体框架如图 3 所示编码器-解码器架构编码器接受 patchify 后的 ECG 信号附加位置嵌入和导联嵌入解码器逐导联重建被遮蔽的 patchMAE 损失。时空 PatchifySpatio-Temporal Patchifying这是 ST-MEM 最核心的设计选择。给定 ECG 信号X ∈ R L × T X \in \mathbb{R}^{L \times T}X∈RL×TL LL个导联T TT个时间步 对每个导联独立地沿时间轴分割为n T / p n T/pnT/p个非重叠 patchpatch 大小p pp总计产生L × n L \times nL×n个 patch如图所示与仅时间 patchify图 2a3 个 patch和仅空间 patchify图 2b12 个 patch不同时空 patchify图 2c产生细粒度的12 × n 12 \times n12×n个 patch使自注意力机制同时在时间维度和导联维度上运行显式捕获时空关系。导联感知共享解码器Lead-wise Shared Decoder上面时空 patchify 虽然有利于学习时空表征但也降低了重建任务的难度——解码器可以轻松地从其他导联的未遮蔽 patch 中获取同一时刻的信息来重建这样模型就不会学到真正有效的特征。为了解决这个问题限制解码器每次只处理单一导联的 patch 序列各导联共享同一个解码器参数。这一设计增加了重建任务难度迫使编码器学习更丰富的时空表征提升训练效率所有导联共享解码器导联指示模块Lead Indicating Modules仅增加重建难度还不够——编码器和解码器需要能够区分 patch 来自哪个导联才能真正学习空间关系。为此引入两个模块模块作用导联嵌入Lead Embedding每个 patch 嵌入添加一个可学习的导联特定嵌入L e a d ∈ R D Lead \in \mathbb{R}^DLead∈RD同一导联的所有 patch 共享相同的导联嵌入分离嵌入SEP Embedding在每个导联的 patch 序列前后插入共享的[SEP]嵌入帮助模型区分不同导联的 patch 序列边界预训练与下游任务预训练损失对随机遮蔽的 patch掩码率m mm最小化原始信号与重建信号的 MAEL S S L 1 L n m ∑ i ∈ M ∥ P a t c h ^ i − P a t c h i ∥ L_{SSL} \frac{1}{Lnm} \sum_{i \in M} \lVert \widehat{Patch}_i - Patch_i \rVertLSSLLnm1i∈M∑∥Patchi−Patchi∥下游任务下游任务分为线性评估和微调两种任务其中线性评估丢弃解码器冻结编码器加一个可训练的线性分类头。微调丢弃解码器编码器与线性分类头参数共同更新。两者都采用交叉熵损失L C E 1 K ∑ c 1 K ( − y c log ( y ^ c ) ) L_{CE} \frac{1}{K} \sum_{c1}^{K} (-y_c \log(\hat{y}_c))LCEK1c1∑K(−yclog(y^c))任意导联数量微调ST-MEM 天然支持任意导联组合——patch 的形状不受导联数影响导联嵌入模块使模型理解不同导联的特性。因此预训练于 12 导联后可无缝微调于 6 导联仅肢体导联或单导联数据。实验结果与结论12 导联线性评估与微调低资源场景仅用 1%/5% 标注数据ST-MEM 在所有低资源配置下均最优CPSC2018 仅用 5% 数据即可接近 100% 数据的性能任意导联数量鲁棒性ST-MEM 在所有导联组合下均显著优于其他方法p 0.05证明了预训练于 12 导联再微调于降导联场景的可行性空间关系可视化分析t-SNE GMM 聚类ST-MEM 学习到的表征在嵌入空间中自然地按额面肢体导联 I、II和水平面胸导联 V2、V3分离聚类准确率高达 89.5%而 MTAE 仅 60.7%、MoCo v3 仅 50.6%≈随机注意力图分析以 Lead III肢体导联的 patch 为 query注意力高分区域集中在肢体导联范围同时时间上相似波形周期性心搏的 patch 也获得高注意力——验证了 ST-MEM 同时捕获了空间和时间关系消融实验每个导联指示模块的加入都持续提升性能验证了空间信息建模对 ECG 表征学习的重要性。局限性与发展优势时空联合建模通过时空 patchify 使自注意力同时跨越时间和导联维度显式捕获 ECG 的时空关系这是该方法的最核心创新生成式无增强基于 MAE 重建范式不依赖可能有语义破坏风险的数据增强更适用于 ECG 信号任意导联数量适应导联嵌入 patch 形状不受导联数影响预训练于 12 导联后可无缝迁移到任意导联组合12/6/1 导联低资源优势显著在极端标注稀缺1%场景下大幅领先 Supervised 和各类 SSL Baseline可解释性强t-SNE 聚类和注意力图直观展示了模型学到的空间额面 vs 水平面和时间心搏周期关系局限性仅验证 ECG 任务虽然声称可扩展到通用多变量时间序列但仅在附录中展示了 HAR 任务的初步结果编码器骨干固定为 ViT-B未探索不同 backbone 规模ViT-S/L的影响下游微调策略简单仅采用全量微调naive fine-tuning未探索部分微调partial fine-tuning等更适合小样本的迁移策略未来拓展方向可变形 patch 或层次化 patch替代固定大小的非重叠 patch更好地对齐 ECG 信号中的 P-QRS-T 波边界多模态扩展将 ST-MEM 扩展到 ECG 临床文本 / EHR 等多模态数据部分微调策略探索仅微调部分层或添加 adapter 的方式进一步提升低资源场景的迁移效率通用时序扩展系统性验证 ST-MEM 在其他多元时间序列如 EEG、fNIRS、HAR上的泛化能力代码地址https://github.com/bakqui/ST-MEM
内存与‘static生命周期标注)
