LLMは自分が何を知っているか分からない：金融バックテストの盲点

2026年11月9日読了目安 3 分

導入

LLMに過去の株価、マクロ経済指標、連邦準備制度の決定を「予測」させたとき、その回答は本当に予測なのか。それとも学習データに含まれていた結果の想起なのか。この区別は金融バックテストの信頼性を左右する。モデルが結果をすでに知っていれば、見かけ上の予測性能に事後情報が混入するためだ。

Hugging Face Daily Papersで紹介された研究は、モデルが自分の時間的な知識境界を認識できるかを調べるFinDendroベンチマークを提案した。

日付付き事実を広く収録。 FinDendroは1999年から2026年までの米国の事実2,226件を対象とし、月次マクロ経済系列、月末株価、FRBの決定を含む。各事実について、値を直接尋ねる質問、想起と予測を区別させる質問、過去の日付時点で回答させる質問などを作成した。
自己申告と実際の知識は一致しない。 GPT-5は管理された事実の76%に正解したが、「知っている」と述べたのは38%だった。また、「知らない」と答えた事実の61%にも正しく回答した。つまり「知らない」という申告は利用可能な情報の欠如を意味せず、「知っている」という申告も正確な境界線とは限らない。
知識の自己認識には遅れがある。 モデルが過去の知識を持つという主張は、測定された知識境界を最大7四半期超えて続く場合があった。自己申告からカットオフを推定すると、回測期間を誤って設定する可能性がある。
過去日付の指示だけでは不十分。 過去の特定日時点として回答するよう求めると、事前に知っていたという申告の多くは減少した。しかし正答率はほぼ変わらなかった。指示は回答の説明を変えても、後続情報がモデル内にないことを証明しない。

この研究は、金融バックテストの情報漏えい対策を、データ分割だけでなくモデル行動の評価として捉え直す。ベンダーが示す知識カットオフを信頼することや、モデルに結果を知っているか尋ねることだけでは、事後情報の混入がないとは証明できない。過去日付の指示も同様である。

より堅実な方法は、バックテストの前に日付付き事実でモデルを調べることだ。時期ごとの正答率、知識の申告、推測の傾向を測定し、実際に確認された挙動に基づいて評価期間を選ぶ。重要なのは「モデルがどのカットオフを申告するか」ではなく、「どの期間に再現性のある事実知識を示すか」である。

金融AIの評価報告では、収益率やリスク指標だけでなく、時間境界の検証方法と自己申告とのずれも説明する必要がある。この教訓は、市場予測に限らず、過去データを使うあらゆる時系列評価に当てはまる。