モデル評価

HyperBrowseCompは、ウェブ閲覧エージェントを対象にした高難度の評価ベンチマークです。13言語と複数の証拠形式を対象に、検索結果を読むだけでなく、分散した手がかりを発見し、つなぎ合わせ、検証する能力を測ります。

AI生成論文の問題は、誤った文章や偽の引用だけではない。研究目的、手法、実験、結論をつなぐ全体的な推論の崩れを評価する新たな枠組みが提案された。

ArrivalBenchは、固定スナップショットで一度正しく動いたデータパイプラインでも、遅延・重複・順不同・再試行の記録を処理すると誤った状態を残し得ることを示した。時間と配送順序を含めた再実行が、従来評価の盲点を明らかにする。

データの来歴を記録した合成タスクを使い、表形式基盤モデルの挙動に本当に影響した事前学習データを検証する研究が発表された。結果は、介入による因果的な寄与と、データの来歴上の類似性は同じではないことも示している。

MicrosoftとHugging FaceのThinkingBoxは、エージェントの発言やツール呼び出しではなく、処理後に残されたバックエンド状態と副作用を検査します。さらに各タスクを20回実行し、再現性も評価します。

OpenTumorBoardは、公開された腫瘍ボードの記録を基に、専門医への応答と会議全体のシミュレーションを評価するベンチマークです。先端モデルであっても、専門家の回答や実際の合意を再現する能力には大きな差が残ることが示されました。

音声LLMは命令を正しく認識しても、それが自分への呼びかけでなければ行動すべきではありません。VGBenchは、ツール実行前に対象者を判断できるかを評価します。

Argo-Benchは、SQL生成の正しさだけでなく、大規模な企業データウェアハウスから事実を再構成し、分析結果に基づいて行動できるかを検証する。現在のモデルは、複数テーブルをまたぐ推論と業務上の意思決定でなお課題を抱えている。

PhysVistaは、視覚言語モデルが映像の見た目を認識するだけでなく、物理的な一貫性を理解しているかを評価するベンチマークです。物理状態の知覚、力学的推論、物理的妥当性の判断を、実映像とAI生成映像で一体的に検証します。

KaliBenchは、分析担当者の意図をKali Linux上で実行可能なコマンドへ変換する能力に焦点を当てたベンチマークです。ツール選択と引数構築を分離し、意味の正しさと実行可能性を検証します。

AutoDataBenchは、学習フレームワークや計算量などの要因を固定し、LLM研究エージェントが学習データを診断・整理・構築する能力を評価する制御型テストベッドです。データ介入の効果を事前に予測できるか、研究軌跡を追加学習に利用できるかも検証します。

同じ科学的内容でも表現が変わると、AI査読者の判断が変わる可能性があります。新研究は修辞的ロバスト性を定義し、全文評価と構造化された科学コアを組み合わせるSciCoreを提案しました。

A2Z GameSpec-Benchは、100件の長文ゲーム設計書を基に、コーディングエージェントが実行可能なコードだけでなく設計意図まで再現できるかを評価する。ソースコード検査に加え、シナリオ再生と適応的プレイテストも組み合わせる。

CUA-SWEは、コード編集、コマンド実行、GUI操作、視覚的なフィードバックの確認を一つのタスクに統合するベンチマークです。コーディングエージェントとコンピュータ操作エージェントの間にある評価上の空白を埋めようとしています。

MISTテストは、画像が本来無視されるべき課題でも、視覚言語モデルのラベルが変化することを示した。判定を左右するのは画像の意味より、画像が入力に存在するという事実だった。

報酬モデルは、長い回答や自信のある口調、ユーザーへの迎合を品質の高さと取り違えることがある。BiasReducerは線形報酬ヘッドだけを編集し、データセットごとに必要な補正を選択する。

非侵襲型の脳活動からテキストを復元するモデルが、脳信号ではなく単語の発話時間を利用していた可能性が示された。時間情報の漏洩を抑える単純な設計変更により、反復観測と言語モデルの効果も高まった。

WorldAuditBenchは、3D環境を探索し、異常を発見して検証する能力を評価するベンチマークです。現在のモデルは、移動計画と視覚推論を結び付ける点で、なお人間に大きく及びません。

MaLiang-Harnessは、画像・動画生成における「コードは動くが、見た目が要求どおりではない」という問題をP2Vギャップとして整理します。プログラム、レンダリング結果、修正履歴を結び付け、生成を継続的な検査と修正のプロセスに変えます。

APM-Benchは、連続した短い動画ではなく、途切れた複数セッションから成る生活軌跡を対象に、第一視点映像アシスタントの長期記憶を評価するベンチマークです。

EngiWorldは、AIエージェントが専門ソフトを操作できるかではなく、検証可能な設計成果物を最後まで作れるかを評価する。結果は、ツール操作能力と信頼できる工程自動化の間に大きな隔たりがあることを示した。