AI는 주식 투자를 할 수 있을까? 사후 정보를 금지한 시험의 결과

서론: 과거를 잘 정리하는 것과 미래를 예측하는 것은 다르다

대규모 언어 모델은 재무제표를 검색하고, 산업 정보를 정리하며, 형식이 잘 갖춰진 주식 분석 보고서를 작성할 수 있다. 그러나 투자의 핵심은 이미 무슨 일이 일어났는지를 설명하는 데 그치지 않는다. 다음에 무슨 일이 일어날지, 그리고 그 전망을 바탕으로 투자할 가치가 있는지를 판단해야 한다. 미래 정보가 평가 과정에 섞이면 예측 능력이 아니라 사후 지식이 점수에 반영될 수 있다.

Hugging Face Daily Papers가 소개한 Investor’s Last Exam(ILE) 은 이 문제를 겨냥한 주식 리서치 벤치마크다. AI 에이전트는 의사결정 시점에 이용할 수 있었던 정보만 사용해 근거 수집, 가정 설정, 예측, 투자 판단의 전체 과정을 수행해야 한다.

핵심 설계

• 전체 도구 체인에 시간 경계를 적용한다. ILE는 343만 개의 문서 버전, 약 1.52TB의 데이터, 9개 정보원 범주로 구성된 버전 관리 금융 데이터베이스를 구축했다. 여기에 구조화된 시장 데이터를 결합해 특정 시점을 입력하면 당시 이용 가능했던 문서와 계산만 반환되도록 설계했다.
• 실제 애널리스트 업무를 반영한다. 86개 과제는 일반적인 금융 상식 문제나 단순 검색 테스트가 아니라, 바이사이드 애널리스트가 수행하는 연구 산출물을 중심으로 구성됐다.
• 결론의 의존관계를 평가한다. 전문가 루브릭은 금융 의존성 그래프를 통해 결론을 출처, 계산, 가정과 연결한다. 연구 품질, 예측 정확도, 시뮬레이션 투자 성과를 함께 평가하는 방식이다.
• 연구와 예측 사이의 간극을 드러낸다. 종합 점수에서는 GPT-6 Astra가 68.1점, Claude Opus 5.5가 66.9점으로 상위권에 올랐다. 그러나 Astra는 ‘연구·근거’에서 78.9점을 받은 반면 ‘예측·모델’에서는 52.5점에 그쳤다. 이미 알려진 사실을 일관된 분석으로 묶는 능력이 미래에 대한 판단력으로 자동 전환되지는 않는다는 의미다.

의미와 과제

ILE의 가장 큰 의미는 평가 단위를 바꾼 데 있다. 모델이 무엇을 검색했는지, 보고서가 얼마나 그럴듯한지만 보는 대신, 근거가 가정으로 바뀌고 다시 예측과 투자 판단으로 연결되는 과정을 살핀다. 검색이 정확하고 설명이 매끄러우며 계산이 재현 가능하더라도, 성장률과 위험을 추정하고 실제 투자 의견을 만드는 단계에서 실패할 수 있다.

이는 금융 에이전트 개발의 우선순위에도 시사점을 준다. 더 빠른 검색이나 더 깔끔한 보고서 생성만으로는 예측 능력을 입증할 수 없다. 현재 모델은 이미 발생한 사건을 종합하는 데는 강하지만, 아직 발생하지 않은 사건을 둘러싼 불확실성을 다루고 판단하는 데는 여전히 취약하다.

시간 경계를 안정적으로 재현할 수 있다면 과거 금융 정보 환경을 도메인 강화학습을 위한 반복 가능한 환경으로 활용할 가능성도 있다. 다만 검색 인덱스, 캐시, 외부 도구, 모델의 사전 기억을 통해 기준 시점 이후 정보가 유입되지 않는지 검증해야 한다. 반복 실행의 변동성과 전문가 평가자 간 일치도 역시 점수를 해석할 때 함께 확인해야 할 요소다.

ILE가 보여주는 결론은 AI가 투자자를 도울 수 없다는 것이 아니다. 효율적인 리서치 보조 능력과 독립적인 투자 판단 능력을 같은 것으로 간주해서는 안 된다는 것이다. 이 차이를 측정 가능하게 만든 점이 ILE의 핵심 가치다.

출처: Hugging Face Daily Papers