AIは株式投資ができるのか？後知恵を禁じる試験が示した限界

導入：過去を説明することと未来を当てることは違う

大規模言語モデルは、決算資料を検索し、業界情報を整理し、体裁の整った株式調査レポートを作成できる。しかし投資で最も重要なのは、何が起きたかを説明することだけではない。次に何が起きるのか、そしてその見通しに基づいてポジションを取る価値があるのかを判断することだ。将来の情報が混ざれば、評価は予測能力ではなく後知恵を測るものになってしまう。

Hugging Face Daily Papersで紹介された Investor’s Last Exam（ILE） は、この問題を正面から扱う株式リサーチ向けベンチマークだ。AIエージェントは、意思決定時点で利用可能だった情報だけを使い、証拠の収集から仮定、予測、投資判断までを一貫して実行することを求められる。

ILEの主な特徴

• 情報を時点で固定する。 ILEは343万件の文書バージョン、約1.52TBのデータ、9種類の情報源からなる版管理済み金融データベースを構築し、構造化された市場データも組み合わせる。指定した時刻によって、その時点で見えていた文書と計算結果だけが返される設計だ。
• 実務に近い課題を採用する。 86の課題は、一般的な金融知識問題ではなく、買い手側アナリストが作成する成果物を意識して設計されている。
• 結論の根拠を追跡する。 専門家の評価基準は、金融依存グラフを通じて結論を出典、計算、仮定と結び付ける。研究品質、予測精度、シミュレーション上の投資パフォーマンスをまとめて評価する。
• 調査と予測の差が明確になった。 総合得点ではGPT-6 Astraが68.1、Claude Opus 5.5が66.9で上位だった。一方、Astraは「研究・証拠」で78.9点を得たのに対し、「予測・モデル」では52.5点だった。既知の事実を整理する能力が、そのまま未来についての判断力になるわけではない。

意義と残る論点

ILEの意義は、金融ベンチマークを単純な正答率やレポートの見栄えから引き離した点にある。検索が正確で、説明が整っており、計算も再現可能だったとしても、そこから成長率、リスク、投資判断へ進む段階で失敗する可能性がある。ILEは、この「証拠・仮定・判断」のどこで性能が失われるのかを調べるための枠組みを提供する。

この設計は、金融エージェントの開発方針にも影響する。検索を速くしたり、レポート作成を上手にしたりするだけでは、予測能力を証明できない。現時点のモデルは、すでに起きたことの統合には強いが、まだ起きていないことに対する不確実性を扱う判断では弱さを残している。

さらに、時点情報を安定して再生できれば、過去の金融環境をドメイン特化型の強化学習に使える可能性もある。ただし、検索インデックス、キャッシュ、外部ツール、モデルの記憶から締切後の情報が混入しないかは継続的な監査が必要だ。複数回実行時のばらつきや、専門家評価者間の一致度も、スコアを解釈するうえで重要になる。

ILEが示すのは、AIが投資を支援できないということではない。研究補助としての能力と、独立した投資判断の能力を同一視してはならないということだ。

出典：Hugging Face Daily Papers