Aardvark Weather, AI 일기예보의 불확실성을 관측과 모델로 분리

들어가며

일기예보에서 중요한 것은 가장 가능성 높은 결과 하나만 제시하는 일이 아니다. 그 예측이 얼마나 믿을 만한지, 그리고 불확실성이 어디에서 발생했는지도 함께 알려야 한다. 수치예보는 보통 앙상블을 통해 예측 범위를 표현한다. 반면 많은 엔드투엔드 AI 날씨 모델은 하나의 결정론적 결과만 내놓기 때문에, 오차가 불완전한 관측 때문인지 모델의 학습 한계 때문인지 구분하기 어렵다.

“Uncertainty-Aware End-to-End AI Weather Forecasting: Disentangling Observation and Model Contributions” 연구는 Aardvark Weather에 확률적 예측 기능을 추가했다. 최종 결과에 무작위성을 단순히 더하는 대신, 모델의 서로 다른 구성 요소에 각기 다른 확률적 메커니즘을 배치해 예측 분산의 원인을 추적하도록 설계했다.

핵심 방식

• 관측 인코더에 학습 가능한 노이즈 적용. 입력에 따라 달라지는 노이즈를 관측 인코더에 넣어 지구 관측 시스템에서 발생하는 불확실성을 표현한다. 관측값의 잡음, 결측, 정보 부족처럼 데이터 조건에서 비롯되는 오차를 우연적 불확실성으로 다루는 방식이다.
• 프로세서에 몬테카를로 Dropout 적용. 추론 과정에서도 Dropout을 유지한 채 여러 번 예측해, 모델이 학습한 대기 역학 자체의 불확실성을 근사한다. 이는 모델이 특정 상황의 대기 변화를 충분히 학습하지 못했을 가능성을 반영하는 인식론적 불확실성이다.
• 중첩 앙상블 구성. 두 확률적 요소를 결합해 여러 예측을 만들고, 전체 분산의 법칙을 사용해 총 예측 분산을 관측 기여분과 모델 기여분으로 나눈다. 일부 관측 스트림을 제외하는 실험으로 이 해석도 교차 점검했다.

성능과 한계

논문 초록에 따르면 확률적 미세 조정은 변수와 예측 시간을 통틀어 평균 예측을 4.2% 개선했다. ERA5와 비교했을 때 중기 예보까지 spread-skill ratio는 0.98로 나타나, 앙상블의 폭과 실제 예측 오차가 전반적으로 잘 맞았다. 관측소 예보의 RMSE는 결정론적 모델과 비교해 2.4% 이내로 유지됐고, CRPS에서는 모든 예측 시간대에서 결정론적 모델을 앞섰다.

다만 이 결과가 기존 운영 시스템을 모두 넘어섰다는 뜻은 아니다. 연구에서 Aardvark Weather는 여전히 ECMWF 운영 앙상블보다 낮은 성능을 보였다. 따라서 이 연구의 핵심은 단순한 정확도 경쟁보다, 엔드투엔드 AI 예보에 확률적 표현과 불확실성의 출처를 설명하는 장치를 추가했다는 데 있다.

의미와 영향

관측 분기의 불확실성이 크다면 특정 지역이나 시간대에 입력 정보가 부족하다는 신호일 수 있다. 반대로 모델 분기의 불확실성이 크다면 학습된 대기 역학을 새로운 상황에 적용하는 과정에서 위험이 커졌다는 의미일 수 있다. 이런 구분은 관측 데이터 수집 전략, 모델 개선 우선순위, 예보 위험의 사용자 전달을 더 세밀하게 만드는 데 활용될 가능성이 있다.

물론 두 분기가 현실의 모든 오차 원인과 정확히 일치한다고 보기는 어렵다. 분해 결과는 모델 구조와 학습 방식, 평가 데이터의 영향을 받으며, 극한 기상과 다른 관측원, 더 긴 예측 시간에 대해서도 추가 검증이 필요하다. 그럼에도 이 연구는 엔드투엔드 AI의 효율성을 유지하면서 앙상블 예보에 필요한 보정과 설명 가능성을 더하는 실용적인 경로를 제시한다.

출처: Hugging Face Daily Papers