VAIOM: 연속 입력으로 외환 수익률을 모델링하는 Transformer

도입

금융 시계열은 자연어와 다르다. 가격, 스프레드, 변동성, 갭, 자산 식별 정보는 대부분 연속적이고 서로 다른 성격을 가지며 잡음도 크다. 반면 decoder-only next-token 모델은 보통 이산적인 기호 입력을 전제로 만들어진다. arXiv 논문 “VAIOM: Continuous-Input, Discrete-Output Decoder-Only Financial Sequence Modeling”은 이 간극을 줄이기 위해 입력과 출력을 분리한다. 입력에서는 연속 금융 이벤트 벡터를 사용하고, 출력에서는 다음 수익률 구간에 대한 이산 확률분포를 예측한다.

핵심 내용

• 연속 입력, 이산 출력: VAIOM은 다변량 금융 이벤트를 연속 벡터로 표현해 수치 구조를 보존한다. 예측 대상은 변동성으로 정규화한 다음 수익률 버킷이며, 범주형 분포를 통해 교차엔트로피 학습과 우도 평가가 가능하다.
• decoder-only 기반 수익률 모델링: 이 모델은 1시간 외환 바에서 다음 수익률의 확률분포를 추정하는 데 초점을 둔다. 논문은 이를 직접적인 매매 시스템으로 제시하지 않는다.
• 하이브리드 입력 구성: 선택된 0.9M 파라미터 Hybrid Continuous Input 모델은 연속 이벤트 특징과 범주형 자산 메타데이터를 함께 사용한다.
• 혼합 구조와 보조 목표: Mixture-of-Market-States 수익률 헤드에 더해 Gap, 변동성 레짐, Ordinal 보조 목표를 도입해 내부 표현을 형성한다.
• 전체 시퀀스 감독: 마지막 위치만 학습하는 방식이 아니라 시퀀스 전체에 감독을 적용하며, 검증 실험에서 이 방식이 더 나은 결과를 보였다.

결과 해석

평가 절차는 시간 순서를 고려해 구성됐다. 전처리와 모델 학습은 2024년 이전 Train 데이터로 수행하고, 2024년 하반기 Validation 데이터로 모델을 선택한 뒤, 2025년의 두 Test 기간에서 재학습 없이 평가한다. 논문에 따르면 세 개의 독립 학습 시드에서 모든 모델이 두 테스트 절반 모두에서 고정된 단일 바 LightGBM 기준선을 능가했다. canonical checkpoint의 경우 LightGBM 대비 paired gain은 이벤트당 0.029 및 0.043 bits로 보고됐다.

다만 이 수치를 과도하게 해석해서는 안 된다. 우도 지표의 개선은 거래 비용, 슬리피지, 위험 제약을 반영한 실제 수익성을 의미하지 않는다. 이 결과가 말해주는 것은 논문이 설정한 확률 예측 과제에서 시퀀스 모델이 단일 바 기반 기준선보다 더 많은 문맥 정보를 활용했을 가능성이다.

소거 실험도 중요하다. 동일한 범주형 수익률 목표 아래에서 연속 입력은 이산 token 입력보다 나았다. 전체 시퀀스 감독은 마지막 위치 학습보다 우수했고, 보조 표현 학습과 혼합 구조 수익률 헤드도 통제 비교에서 수익률 우도를 개선했다. 또한 용량 연구에서는 현재 말뭉치에서 평가된 완전 아키텍처 단계 중 가장 작은 구성이 가장 강한 Validation 우도를 달성했다. 금융 데이터에서는 모델 크기를 키우는 것이 항상 정답은 아니라는 점을 시사한다.

의미와 영향

VAIOM의 흥미로운 점은 금융 데이터를 억지로 언어 token처럼 만들지 않는다는 데 있다. 수치 관계가 중요한 입력에서는 연속성을 유지하고, 학습과 평가가 필요한 출력에서는 이산 확률분포를 사용한다. 이런 분리는 금융뿐 아니라 잡음이 크고 연속적인 이벤트 스트림을 Transformer로 다루는 다른 영역에도 참고가 될 수 있다.

정량 연구자에게 VAIOM은 즉시 사용할 수 있는 거래 전략이라기보다 모델링 설계 사례에 가깝다. 입력 표현, 감독 위치, 보조 목표, 시간 기반 검증 분할이 결과에 영향을 준다는 점을 보여준다. 금융 AI에서는 새로운 아키텍처만큼이나 보수적인 평가 프로토콜이 중요하다는 사실을 다시 확인시킨다.

출처: arXiv