MOJO, 라벨 없는 신경 데이터로 더 잘 일반화되는 디코더를 만든다

도입

뇌-컴퓨터 인터페이스와 폐루프 신경과학 실험에서 신경 디코더는 핵심 구성요소다. 디코더는 신경 집단 활동을 바탕으로 움직임, 지각, 의사결정, 말하기와 관련된 정보를 추정한다. 하지만 좋은 디코더를 만들려면 신경 기록과 행동 라벨이 정확히 짝지어진 데이터가 필요한 경우가 많다. 이런 데이터는 수집이 어렵고, 세션이나 피험자, 과제가 바뀌면 모델을 다시 맞추는 일도 쉽지 않다.

arXiv 논문 “Leveraging unlabelled data for generalizable neural population decoding”은 이 문제를 해결하기 위한 MOJO(Masked autOencoder-based JOint training)를 소개한다. MOJO는 스파이크 수준에서 신경 데이터를 토큰화하는 모델에 마스크드 오토인코더 기반 자기지도학습을 결합하고, 이를 지도 디코딩 목표와 함께 최적화하는 프레임워크다.

핵심 내용

• 라벨 없는 신경 기록 활용: 기존 spike-tokenizing 모델은 강력한 성능을 보였지만 대체로 행동 라벨이 있는 데이터에 묶여 있었다. MOJO는 라벨이 없어도 신경 활동의 구조를 학습할 수 있도록 만든다.
• 자기지도학습과 지도학습의 결합: 모델은 일부가 가려진 신경 활동을 복원하는 동시에 행동 변수를 예측하는 디코딩 목표도 학습한다. 신호 내부의 패턴과 실제 과제 출력을 함께 익히는 방식이다.
• 여러 스파이킹 데이터셋에서 검증: 논문은 팔 뻗기 과제 중 원숭이 운동피질 기록, 시각 및 의사결정 과제 중 생쥐 다중 뇌영역 기록을 포함한 세 가지 스파이킹 데이터셋에서 MOJO를 평가했다.
• 라벨이 적을수록 이점이 큼: 순수 지도학습 모델과 비교했을 때 MOJO는 전반적으로 더 나은 성능을 보였고, 특히 라벨이 제한된 상황에서 개선이 두드러졌다. 새 세션에 적은 라벨만으로 적응하는 few-shot 미세조정이 대표적 사례다.
• 더 해석 가능한 표현: 자기지도학습을 추가하자 명시적으로 최적화하지 않은 뇌 영역 분류와 스파이크 통계 예측에서도 성능이 향상됐다.
• 스파이크를 넘어 확장: 연구진은 인간의 말하기 중 피질뇌전도(ECoG) 데이터에도 MOJO를 적용했다. 이 경우에도 순수 지도학습 모델보다 나았고, 연속 신호용 신경 기반 모델과 비교 가능한 성능을 보였다고 설명한다.

의미와 영향

MOJO의 핵심 가치는 신경 디코더가 사용할 수 있는 데이터의 범위를 넓힌다는 데 있다. 실제 신경과학 및 임상 환경에서는 라벨이 잘 정리된 데이터보다 라벨 없는 신경 기록이 더 많이 쌓이는 경우가 많다. 모델이 이런 데이터에서 재사용 가능한 신경 표현을 배울 수 있다면, 새 세션이나 새 사용자에 디코더를 맞추는 비용을 줄일 수 있다.

이 연구는 신경 기반 모델(neural foundation model)이라는 흐름과도 맞닿아 있다. 각 실험마다 작은 모델을 처음부터 학습하기보다, 다양한 신경 데이터에서 사전학습한 뒤 여러 하위 과제에 적응시키는 방향이다. MOJO는 자기지도학습이 스파이크 기반 모델에서도 데이터 효율성과 범용성을 높일 수 있음을 보여준다.

다만 이 논문은 arXiv 프리프린트이며, 장기적인 온라인 시스템이나 임상 수준의 뇌-컴퓨터 인터페이스에서 어느 정도 안정적으로 작동하는지는 추가 검증이 필요하다. 그럼에도 라벨 없는 신경 데이터를 적극적으로 훈련에 끌어들이는 접근은 차세대 신경 디코딩 연구의 중요한 방향으로 보인다.

출처: arXiv