Hindcast: 예측시장을 되감아 LLM의 실제 예측력을 평가하다

도입

대규모 언어모델이 불확실한 사건을 얼마나 잘 예측할 수 있는지는 AI 평가에서 점점 중요한 주제가 되고 있다. 하지만 기존의 백테스팅을 LLM에 그대로 적용하면 문제가 생긴다. 이미 끝난 사건의 답이 웹에 남아 있거나, 최신 모델의 학습 데이터에 포함되어 있을 수 있기 때문이다. 논문 “Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters”는 이러한 정답 누수를 줄이고, 모델을 과거 시점에 세워 평가하는 Hindcast를 제안한다.

핵심 내용

• 일반적인 백테스트는 LLM에 취약하다. 예측 시스템은 보통 이미 해결된 질문을 다시 보여주고, 결과가 알려지기 전이었다면 어떤 확률을 냈을지 평가한다. 그러나 LLM은 사건 이후 작성된 기사나 게시물을 검색할 수 있고, 더 최근에 훈련된 모델은 해당 결과를 학습 과정에서 접했을 가능성도 있다.

• 논문은 두 가지 누수 경로를 지적한다. 첫째는 검색이다. RAG나 웹 검색을 쓰는 모델은 예측이 아니라 사후 정보를 찾아낼 수 있다. 둘째는 학습 데이터다. 과거 모델에게는 미래였던 질문이 최신 모델에게는 이미 훈련 데이터 안의 사실일 수 있다. 이 경우 평가는 통찰력이 아니라 기억력을 측정하게 된다.

• Hindcast는 과거 기준 시점을 고정한다. 각 Polymarket 시장에 대해 결과가 알려지기 전의 시점 t0를 설정하고, 모델이 그 시점에 있는 것처럼 예측하게 한다. 모델이 접근할 수 있는 자료는 고정된 공개 Reddit 스냅샷 중 t0 이전에 작성된 게시물로 제한된다.

• 시장 가격을 인간 기준선으로 사용한다. Hindcast는 모델 예측을 최종 결과와 비교할 뿐 아니라, t0 시점의 Polymarket 가격과도 비교한다. 이 가격은 당시 사람들이 이용 가능한 정보로 형성한 집단 예측으로 볼 수 있어 의미 있는 기준선이 된다.

의미와 영향

Hindcast의 중요한 메시지는 LLM 평가에서 시간 경계가 필수라는 점이다. 어떤 정보가 평가 시점에 존재했는지 통제하지 않으면, 모델이 미래를 예측한 것처럼 보여도 실제로는 나중에 생긴 정보를 회상하거나 검색했을 수 있다.

논문은 검색의 효과에 대해서도 균형 잡힌 결과를 제시한다. 정답 누수를 막은 뒤에도 검색은 많은 모델에 도움이 될 수 있지만, Reddit에 사건 전 관련 논의가 충분히 있을 때 주로 유용하다. 반대로 자료가 추측이나 잡음에 가까우면 검색이 예측을 오히려 악화시킬 수 있다.

이는 RAG 기반 시스템에도 시사점이 크다. 더 많은 문서를 가져오는 것만으로는 충분하지 않으며, 정보의 시간적 정합성과 품질이 중요하다. Hindcast는 제한된 과거 공개 정보 안에서 모델이 확률 판단을 내리게 하고, 같은 시점의 인간 시장 예측과 비교함으로써 LLM의 예측 능력을 더 현실적으로 평가하는 방향을 제시한다.

출처: arXiv