モデル評価

APort Vaultは、ツールを使うAIエージェントが決済要求と認可済みの決済を区別できるかを評価するベンチマークだ。Open Agent Passportの決定的な事前チェックを加えると、未許可の受取人への送金は比較条件で140件から0件になった。

新たな研究によると、最先端の大規模言語モデルでさえ、現実に近いBIタスクの正解率は50％未満です。研究チームは、データ検索から結合、変換、回答までを評価するBI-Benchと、ツール拡張型のBI-Agentを提案しました。

モデルが生成した査読文を次世代のAI査読者が学習すると、評価の分布と意味的多様性が縮小する可能性がある。研究チームはこの現象を「科学的判断の崩壊」と呼び、TrustReviewerによる緩和策を提案した。

小型言語モデルでは、トークン単位のエントロピーが回答の正しさをほとんど示さないことが研究で分かった。複数回答の意味的なばらつきを測るセマンティック・エントロピーは、より有効な信頼度シグナルになり得る。

公開テストに合わせて訓練できる従来のベンチマークに対し、Valsは非公開の課題と業界別の実務評価でAIモデルの信頼性を測ろうとしている。

企業向けAIのリスクは、通常の質問よりも、ユーザーの催促や上司の圧力、便利な違反ショートカットが現れた場面で表面化する。PACTは、規制業務におけるマルチターンのルール遵守能力を評価する。

MiniMax-H3を対象に、生成映像の見た目だけでなく、テキスト・画像・動画・音声に分散した手がかりを統合して事象を推論できるかを調べる評価が行われた。517件での総合成功率は41.97%だった。

RiskChainBenchは、隠された誘導メッセージの復元から正しいサイトの調査、証拠に基づくリスク判断までを連続した課題として評価する。結果は、テキスト復元だけでなく、安定した探索と判断が大きな課題であることを示した。

Microsoft Researchは、完全に動作する参考アプリを操作し、その挙動を不完全なコードベースで再現できるかを測るベンチマーク「ProgramDistill」を発表しました。再実行可能で検証できる挙動を用いて、従来とは異なるソフトウェア開発能力を評価します。

ImpossibleRubricsは、言語モデルが生成した評価基準が、正直な不確実性ではなく根拠のない断定を報いる可能性を検証する。不可解な課題を使った実験で、多くのrubricが最適化された回答に悪用され得ることを示した。

新たな研究は、推論モデルが学習した規則を構造的に同値な課題へ移せるかを調べた。モデルは元の課題を解けても、要素の再結合や記号の置換を施した変形課題で失敗することが多かった。

ModaLensは、質問と放射線レポートを固定したまま画像だけを入れ替え、医療VLMが画像情報を利用しているかを監査する手法です。MedGemma-27Bでは、レポートがあると画像置換への感度が大きく低下しました。

LLMエージェントは推論中に解答を修正し、ツールを使い、別の可能性を探索できる。しかし、Tokenを増やせば性能が同じ割合で伸び続けるわけではない。新研究は、性能向上が鈍化する地点を「Elo-per-token」で分析した。

臨床計算で、モデルが直接計算する代わりに症例別のPythonコードを書き、制限付き実行器に処理させる方式が検証された。大規模モデルでは改善が見られたが、計算式や変数の検証を代替するものではない。

Benchmark Radarは、AIベンチマークを継続的に収集するデータベース兼検索エンジンです。論文やコード、データセット、モデルカード、技術報告書をつなぎ、報告されたスコアの出典と評価条件を確認しやすくします。

4つのベンチマークと6つのモデルを調べた研究で、LLM自身の能力は評価精度と強く結び付く一方、より高性能な被評価モデルには一貫して甘い判定を下す傾向が示されました。研究者は、正解ラベルを使わずに複数の審査員を校正する手法を提案しています。

SWE-Bench Pro Verifiedは、元のベンチマークにあった解答漏えい、隠れた評価情報、タスク設計の不整合を見直す試みです。検証版では、一部の最先端モデルの成績が大きく低下しました。

SAEScientist-Benchは、スパースオートエンコーダーを使った特徴発見をAIエージェントの評価課題に変えた。エージェントは有望な特徴を見つけられる一方、因果的な制御と実験結果の解釈には大きな課題が残る。

Φ-Benchは、単独カーネルや事前定義された演算子だけでなく、実際のコードリポジトリを対象に、LLMの長期的な基盤開発能力を評価する。問われるのはコード生成だけでなく、理解、実装、検証、最適化をつなぐ力だ。

PlannerForgeは、シナリオ生成から運動プランナーの検証、ADS評価までを一つのLLMエージェント基盤でつなぐ。さらに、ADSの改善支援とベンチマークも試みる。

Discovery Certification Protocol（DCP）は、AI研究エージェントの成果を実行可能な監査へ変換する。成果が既存情報の再現ではないか、また真のフィードバックがどれだけ寄与したかを検証する。