LLM은 자신이 무엇을 아는지 모른다: 금융 백테스트의 함정

들어가며

대규모 언어 모델에 과거의 주가, 거시경제 지표, 연방준비제도의 결정을 예측하게 하면 그 답변은 실제 예측일까, 아니면 학습 데이터에 있던 결과를 회상한 것일까? 금융 백테스트에서는 이 구분이 중요하다. 모델이 결과를 이미 알고 있다면, 겉으로 보이는 예측 성능에 사후 정보가 섞일 수 있기 때문이다.

Hugging Face Daily Papers에 소개된 한 연구는 모델이 자신의 시간적 지식 경계를 제대로 인식하는지 검증하기 위해 FinDendro 벤치마크를 제시했다.

핵심 내용

• 날짜가 있는 금융 사실을 폭넓게 평가했다. FinDendro는 1999년부터 2026년까지 미국의 사실 2,226건을 포함한다. 월별 거시경제 시계열, 월말 주가, 연방준비제도 결정이 대상이다. 각 사실에 대해 값 자체를 묻는 질문, 기억과 추측을 구분하게 하는 질문, 특정 과거 날짜 기준으로 답하게 하는 질문 등을 구성했다.
• 자기 보고는 실제 지식을 반영하지 못했다. GPT-5는 통제된 사실의 76%에 정확히 답했지만, 알고 있다고 말한 비율은 38%에 그쳤다. 반대로 모른다고 답한 사실 중 61%에는 정답을 제시했다. 따라서 “모른다”는 답이 관련 정보의 부재를 뜻하지 않으며, “안다”는 답도 신뢰할 수 있는 경계선이 아니다.
• 지식 경계에 시차가 나타났다. 모델의 사전 지식에 대한 주장은 실제로 측정된 지식 경계를 최대 7분기까지 넘어 지속될 수 있었다. 자기 보고만으로 컷오프를 추정하면 백테스트 기간을 잘못 정할 가능성이 있다는 뜻이다.
• 과거 날짜 지시는 누출을 입증하지 못했다. 특정 과거 날짜 기준으로 답하라고 지시하면 사전에 알고 있었다는 주장은 대부분 줄어들었다. 그러나 정확도는 거의 변하지 않았다. 지시가 답변의 표현을 바꿨을 뿐, 이후 정보가 모델에 없었다는 증거가 된 것은 아니다.

의미와 영향

이 연구는 금융 백테스트의 정보 누출 문제를 단순한 데이터 분할 문제가 아니라 모델 행동 평가의 문제로 확장한다. 실무에서는 공급업체가 제시한 지식 컷오프를 참고하거나 모델에 결과를 알고 있는지 직접 묻는다. 그러나 두 방법 모두 백테스트가 사후 정보로부터 안전하다는 것을 인증하지 못한다. 과거 날짜를 명시하는 프롬프트 역시 충분한 보호 장치가 아니다.

더 나은 접근은 정식 백테스트 전에 날짜가 있는 사실로 모델을 조사하는 것이다. 시기별 정확도, 지식 주장, 추측 행동을 측정한 뒤 실제 관찰 결과에 따라 평가 구간을 선택해야 한다. 핵심 질문은 “모델이 어떤 컷오프를 말하는가”가 아니라 “어느 기간에 반복 가능한 사실 지식을 보여주는가”가 된다.

금융 AI 개발자는 수익률과 위험 지표뿐 아니라 시간 경계를 어떻게 검증했는지, 자기 보고와 실제 답변 사이에 어떤 차이가 있었는지도 보고할 필요가 있다. 이 원칙은 금융시장뿐 아니라 과거 데이터에 의존하는 모든 시계열 평가에 적용된다.

출처: Hugging Face Daily Papers