モデル評価

SpireBenchは、商用ゲーム『Slay the Spire』を丸ごと使って、言語モデルエージェントの長期的な戦略判断を評価する。最先端モデルは平均的な人間に近づく一方、ランが長くなるほど専門家に遅れを取る。

ジョンズ・ホプキンス大学の研究は、知識が衝突する場面でLLMエージェントがどれだけ不確実性を扱えるかを、軌跡レベルで評価する方法を示した。高い正解率と認識論的謙虚さは、必ずしも一致しない。

U-Spaceは、機械論的解釈可能性を使って、生成中に不確実性がいつ現れ、何に由来するのかを追跡します。U-Lensは内部表現と予測エントロピーを組み合わせ、1回の生成だけで回答の信頼性を推定します。

新たな研究は、大規模言語モデルが患者の診療とは無関係な雑談や背景音声を臨床記録に取り込む可能性を示した。医療AIには、回答品質だけでなく、偶発的な情報への耐性を測る評価が必要になる。

Learn2Play Benchは、ルールを事前に教えない新規テキストゲームを通じて、LLMエージェントが経験から学べるかを評価する。完全な行動履歴の保持やエージェント・ハーネスの設計が、性能を左右することが示された。

TestPrismは、単一の参照実装だけでコーディングエージェントのテストを評価すると、品質を過大評価し得ると指摘します。複数の有効・無効実装を用いた評価と、TestHelixによる改善手法を提案しました。

HotpotQAとMuSiQueを用いた研究が、質問数、検索軌跡、回答の反復という3種類の評価予算を比較しました。近いトークン予算では、少数の質問を繰り返すより、対象となる質問を広げる方が推定を安定させやすい結果になりました。

Recurrent Looped Transformer（RLT）は、並列因果エンコーダーと再帰デコーダーを組み合わせ、トークンごとの状態を次のステップへ渡します。アルゴリズム課題では、標準Transformerより長い系列への外挿性能を示しました。

AIエージェントを評価する際は、現在の能力だけでなく、経験をどれだけ効率よく将来の性能向上へ変換できるかを見る必要がある。研究はその性質を「エージェント可塑性」として整理した。

SWE-Gameは、ゲームの実装、修正、エンジン間移植までを含む247のタスクでコーディングエージェントを評価するベンチマークです。結果からは、動くプロトタイプの生成は進んだ一方、要件の網羅とゲームロジックには依然として課題があることが分かります。

UltraText Benchは、英語と中国語の密集した視覚テキストを対象に、画像生成モデルを複数領域・難易度別に評価するベンチマークです。文字の鮮明さと、指定内容を正確に再現する能力は一致しないことが示されています。

大規模言語モデルが出力する思考の連鎖は、内部計算を必ずしも忠実に表していません。新研究はCIA指標で両者の一致度を測定し、後学習による改善も検証しました。

科学エージェントの能力向上によって、固定的なベンチマークは飽和しやすくなっています。AutoSciBenchは、エージェントの解答軌跡と評価者のフィードバックを使い、科学タスクを自動生成・改訂する仕組みを提案します。

テスト時学習でモデル自身の生成文から得た更新を長時間保持すると、独立した人間の文章への予測性能が低下することが示された。更新を確定する前に、独立データで検証する仕組みが有効な対策となる。

UndoBenchは、ツールを使うAIエージェントの通常時のタスク遂行能力と、障害発生後の安全な復旧能力を切り分けて測定する。実験では、タスクを完了できても重複した外部操作を防げないケースが明らかになった。

新しい研究は、大規模言語モデルの数学推論を、発見・生成・理解・実行の4段階に分けて分析する。最終的な正答率だけでは能力差を捉えきれないと指摘し、数学的プリミティブを用いた修正手法も提案した。

OSWorld-Pro は、最終状態だけでなく、連続するサブゴールごとにコンピュータ操作エージェントを評価する。クリックミスやキーボード入力の誤り、目的と無関係な操作を可視化できる。

新しい生成モデルや敵対的摂動によって、従来のディープフェイク検出器の信頼性は大きく低下します。研究チームは、既知の生成器が画像を忠実に再構成できるかを調べ、誤認証のリスクを校正する方法を提案しました。

3種類の効率的な推論訓練が、思考連鎖の忠実性と監視可能性に与える影響を調べた研究です。忠実性は低下しやすい一方、入力介入を認識する能力は比較的保たれました。

長文の医療回答を対象にした研究は、検索してから検証するシステムがクローズドなベンチマークでは高い性能を示しても、臨床的なオープンエンド回答では大きく崩れることを示した。失敗の原因は、検索された証拠の質と検証モデルの推論過程に分けて分析できる。

SimuVerityは、生成されたSimulinkモデルが単にコンパイルできるだけでなく、工学的な要求を満たしているかを評価するベンチマークです。101のタスクを用いた実験では、最も高いシステムの総合スコアも42.86にとどまりました。