モデル評価

Orbiaは、インタラクティブな動画世界モデルが探索と再訪の間で安定した3Dシーンを維持できるかを評価するベンチマークです。入力の保持、生成内容の持続性、3D自己整合性という3つの観点から検証します。

SWE-at-Scaleは、過去のソフトウェア修正履歴を反転利用し、実行可能で多様なソフトウェア工学タスクを生成する。一般的なモデル知識からバグを作るのではなく、実際の修正に含まれる故障メカニズムを新しいコードへ移植する。

CLASHarnessは、コンピュータ操作中に発生する古い状態、矛盾した指示、共有リソースの競合を評価するための制御可能なベンチマークです。視覚的な事実を先に固定し、実行済みの参照軌跡から評価器を生成します。

大規模言語モデルのベンチマークが増える一方、全項目を実行する評価コストも膨らんでいます。119本の論文を調査した新しいサーベイは、一部のテストから全体のスコアや順位を推定する「ベンチマーク圧縮」を体系化しました。

Doc2Harnessは、固定されたエージェント環境でのタスク達成ではなく、LLM自身がその実行基盤を設計・実装できるかを測定する。最高モデルでも328テストの通過率は53.05%にとどまった。

ツールの誤操作だけでなく、ユーザーとの接し方も大規模言語モデルの失敗要因になる。τ-Emotion-Benchは、ユーザーの感情変化を含む長期的なツール利用を評価する。

画像生成モデルは読める中国語を生成できても、画数の欠落や余分な画、部品の崩れを残すことがあります。TextVerifierは、文字を読めるかではなく、指定された漢字が正しい形で描画されているかを判定します。

Last Secure Code Benchmarkは、コードが機能テストを通過しても安全とは限らないことを示した。6つの先端コーディングエージェントで、機能と安全性の両方を満たした課題は16.4〜25.1%にとどまった。

LifeSearchは、学術研究や合成タスクだけでなく、生活と生産性に関する現実的な課題で深度調査エージェントを評価するベンチマークです。最高性能のエージェントでも得点は63.4%にとどまりました。

画像がAI生成でないとしても、そこに写る出来事が事実とは限りません。EviSceneは、画像を観察し、外部情報を検索し、場面に対応する証拠を示すマルチモーダルエージェントを提案します。

NVIDIAの研究チームは、動画だけを入力して物理法則からの逸脱を評価するPhyProbeを提案しました。順位学習、回帰、アンカー校正を組み合わせ、比較結果とスコアの安定性を両立させます。

大規模言語モデルは、答えだけを出すよう明示的に指示されても、見える形で推論を続けることがある。研究では、この現象を「思考慣性」と呼び、無思考動作を測る新しい枠組みを示した。

AgentSWEは、コーディングエージェントが見えるデモだけでなく、要求全体を満たすエージェントを納品できるかを検証する。評価結果は、実演と信頼できる実装の間に大きな隔たりがあることを示している。

6,342人の医療従事者による12万7,833件の問い合わせを分析した研究で、臨床AIの主な用途は診断ではなく、文書作成や事務、知識検索であることが示された。公開ベンチマークは、実際の業務を十分に反映していない。

JetBrains IDEでの実際の利用セッションを分析した研究は、単一のissueを解く従来の評価だけでは開発者の使い方を捉えきれないと指摘します。質問、計画、レビュー、リファクタリング、実行が一つのセッション内で切り替わるためです。

人間は短い視覚情報から、原因や次の展開、空間的な実行可能性、社会的な力関係、暗黙のルールまで推測します。HSSは、この視覚的直感をマルチモーダルモデル向けの評価指標として可視化します。

固定型のコードベンチマークは、訓練データへの流出や性能飽和によって識別力を失いやすい。SWE-Duelは評価中にエージェント同士が課題を作り、隠れたバグを修正する仕組みで、参加者の能力に応じて難易度が変化する評価を目指す。

SpireBenchは、商用ゲーム『Slay the Spire』を丸ごと使って、言語モデルエージェントの長期的な戦略判断を評価する。最先端モデルは平均的な人間に近づく一方、ランが長くなるほど専門家に遅れを取る。

新たな研究は、大規模言語モデルが患者の診療とは無関係な雑談や背景音声を臨床記録に取り込む可能性を示した。医療AIには、回答品質だけでなく、偶発的な情報への耐性を測る評価が必要になる。

U-Spaceは、機械論的解釈可能性を使って、生成中に不確実性がいつ現れ、何に由来するのかを追跡します。U-Lensは内部表現と予測エントロピーを組み合わせ、1回の生成だけで回答の信頼性を推定します。

ジョンズ・ホプキンス大学の研究は、知識が衝突する場面でLLMエージェントがどれだけ不確実性を扱えるかを、軌跡レベルで評価する方法を示した。高い正解率と認識論的謙虚さは、必ずしも一致しない。