수면 생리 신호에서 범용 표현을 학습하는 다음 토큰 예측

한줄 요약

수면 생리 신호의 다중 모달 데이터에 대해 다음 토큰 예측을 사전 학습 목표로 사용하여 기존 마스크 복원이나 대조 학습보다 우수한 표현을 학습하는 Hypnos 모델을 제안함.

풀어야 하는 문제

생리 신호(EEG, ECG, 호흡 등)는 잡음이 많고 확률적이며, 의미적 불변성이 잘 알려져 있지 않아 기존의 마스크 복원이나 대조 학습 기반의 표현 학습이 적합하지 않음. 특히 마스크 복원은 신호의 확률적 특성에 취약하고, 대조 학습은 양성 쌍 정의가 어려움.

접근 방법

8가지 센서 모달리티(EEG, ECG, 호흡 등)의 시계열 데이터를 잔차 벡터 양자화(RVQ)를 통해 이산 토큰 스트림으로 변환한 후, 대규모 자기회귀 RQ-Transformer를 사용하여 모든 모달리티에 걸쳐 병렬로 다음 토큰을 예측하도록 학습함. 사전 학습 후에는 임의의 모달리티 조합에 대해 연속적인 센서 데이터에서 임베딩을 추출하여 하위 작업에 활용함.

결과·기여

수면 단계 분류에서 기존 기초 모델들을 크게 능가하며, 강력한 지도 학습 기준선과 동등한 성능을 레이블 100배 적게 사용하여 달성함. 또한 주간 생리 신호(심방 세동 탐지)에서도 전용 ECG 기초 모델을 능가하는 일반화 능력을 보임. 다음 토큰 예측이 다중 모달 생리 신호 표현 학습에 강력한 자기 지도 목표임을 입증함.