FINCOSMOS、金融AIエージェントの信頼性をオープン環境で検証

導入

金融分野のAIエージェントは、Web検索、データAPIの呼び出し、コード作成、投資レポートの生成まで実行できます。しかし、金融タスクの失敗は必ずしも目立つとは限りません。ユーザーが指定していない戦略を実装していても、出典を確認できないデータを使っていても、取引時点では存在しなかった情報をバックテストに混ぜていても、最終レポートは十分に説得力のあるものに見えます。

FINCOSMOSは、こうした「静かな失敗」を測定するための、金融エージェント向けオープンワールド評価パラダイムです。正解例との一致を採点するのではなく、エージェントが納品した作業を第三者が検証できるかを中心に調べます。

評価の仕組み

• 戦略の詳細を隠す。 模擬ユーザーは、組み合わせ文法から選ばれた約380万通りの候補の中から一つの戦略を持ちます。細部はユーザーに質問した場合にだけ明らかになるため、エージェントが不足情報を勝手な仮定で埋めず、適切に要件を確認できるかが問われます。
• データを与えない。 エージェントは公開Webから自分でデータを集め、出典を記録し、指定されたデータカットオフ以前の情報だけでバックテストを構築します。
• 成果物を再検証する。 プログラムがデータの来歴、時点整合性、報告された各指標を検査・再計算し、納品された戦略と隠された仕様を照合します。評価は45次元と15個の拒否条件で構成され、参照解答を必要としません。

実験結果が示すこと

4つのコーディングエージェントと、ツールを持たないモデルを対象に、150回のセッションが実施されました。完全に受理されたセッションは一つもありません。拒否条件を適用する前の品質スコアも20.2から37.2にとどまりました。一方、模擬ユーザーが承認したセッションは35件ありましたが、そのすべてがプログラム検査のいずれかに失敗しました。LLM審査員だけなら17件を合格と判断したことから、見た目の説得力と技術的な正しさの差が分かります。

失敗は作業の前後に現れました。120回のセッションのうち、投資家が求めた戦略を納品できたのは25回だけで、報告された収益を再現する取引を納品できたケースはありませんでした。また、ユーザーから明示されていない詳細について、エージェントが質問できた割合は54〜64%でした。質問不足と実装段階での勝手な補完が、結果の不整合につながります。

人間の専門家は、失敗の88.33%をベンチマークではなくエージェント側に帰属させました。さらに、FINCOSMOSからのフィードバックと永続メモリを使ったエージェントが10個すべてのタスクを学習したという報告もあります。これは改善可能性を示しますが、現行システムの信頼性を証明するものではありません。

意義と影響

最も重要な示唆は、ユーザーの満足と正しさは同じではないという点です。明快なレポートであっても、未来情報の混入、戦略仕様との不一致、再計算できない指標が隠れている可能性があります。金融向け評価では、要件確認、データの出典、時点整合性、コード実装、数値の再計算まで一連の流れを検査する必要があります。

今後のエージェント開発では、流暢な分析よりも、根拠を追跡でき、繰り返しの検査に耐え、仮定を明示できる納品物が重視されるべきです。金融AIに必要なのは、説得力のあるバックテストを書く能力ではなく、すべての前提を再確認されても正しさを維持する能力です。

出典：Hugging Face Daily Papers