Timestral: 확률적 예측을 위한 시계열 파운데이션 모델군

들어가며

시계열 파운데이션 모델은 특정 데이터셋에 맞춰 개별적으로 조정하는 방식을 넘어, 여러 분야의 시계열에서 공통적인 예측 패턴을 학습하는 방향으로 발전하고 있다. Timestral은 이 흐름을 겨냥한 모델군이다. 500만, 2800만, 1억 2300만, 2억 900만 파라미터의 네 가지 모델을 제공하며, 미래의 단일 값만 예측하는 것이 아니라 결과의 불확실성까지 표현하는 확률적 예측을 주요 대상으로 삼는다.

논문에 따르면 Timestral은 GIFT-Eval, TIME, fev-bench에서 새로운 최고 성능을 기록했다. Timestral-209M과 Timestral-123M은 모든 지표에서 상위 두 자리를 차지했다고 보고됐다. 다만 제공된 소재에는 구체적인 점수와 모델 간 차이가 포함되어 있지 않으므로, 이 주장은 해당 벤치마크에서 저자들이 보고한 순위로 해석하는 것이 적절하다.

핵심 설계

• 예측 지평과 컨텍스트의 분리. 핵심 기법인 Decoupled Horizon Forecasting, 즉 DHF는 예측 토큰과 인과적으로 인코딩된 과거 컨텍스트를 분리한다. 일반적인 인과 학습에서는 예측 구간이 길어질수록 미래 일부를 마스킹해야 할 수 있고, 그만큼 모델이 활용할 수 있는 컨텍스트가 줄어들 수 있다. DHF는 컨텍스트를 마스킹하지 않은 상태에서 긴 예측 구간을 학습하는 것을 목표로 한다. 또한 이미 관측된 값 하나를 현재 예측의 목표이자 더 먼 미래를 위한 컨텍스트로 함께 사용할 수 있게 한다.
• 알려진 미래 공변량의 기본 지원. 달력 정보, 사전에 정해진 가격이나 계획값처럼 예측 시점에 미래 값이 이미 알려진 변수를 실무 예측에서는 자주 사용한다. Timestral은 이러한 공변량을 별도의 외부 처리 단계가 아니라 인과적 아키텍처 안에서 직접 다루도록 설계했다.
• 2단계 학습 파이프라인. 첫 단계에서는 다양하고 대규모인 합성 데이터만으로 사전학습한다. 이후 실제 데이터와 합성 데이터를 섞은 데이터로 포스트 트레이닝을 진행하며 더 긴 컨텍스트를 사용한다. 넓은 범위의 시계열 구조를 먼저 익힌 뒤, 실제 예측 환경에 가까운 데이터로 모델을 보완하는 방식이다.

의미와 남은 과제

Timestral의 의미는 단순히 파라미터 수를 늘린 데 있지 않다. 긴 예측 구간, 미래 공변량, 확률적 출력이라는 시계열 예측의 반복적인 과제를 모델 목표와 데이터 구성 모두에서 다루려 한다는 점이 중요하다. 수요 예측, 자원 배분, 위험 분석에서는 하나의 예상값보다 가능한 결과의 범위를 아는 것이 의사결정에 더 유용할 수 있다.

그러나 벤치마크 순위가 모든 산업 데이터에서 동일한 이점을 보장하는 것은 아니다. 데이터의 주기, 결측치, 변수 수, 예측 구간, 합성 데이터와 실제 데이터의 분포 차이가 결과에 영향을 줄 수 있다. 네 모델의 가중치는 Hugging Face에서, 추론 코드는 GitHub에서 제공된다. 따라서 연구자들은 보고된 결과를 재현하고 모델 크기와 추론 비용 사이의 절충점을 직접 비교할 수 있다.

출처: Hugging Face Daily Papers