モデル評価

VoxMemは、大規模音声言語モデルが複数の会話セッションをまたいで何を記憶できるかを評価するベンチマークです。結果からは、発話内容に比べ、話者、話し方、周囲の音を保持する能力が大きく遅れていることが分かります。

広範な評価から、汎用AIが専用ビジョンモデルの領域へ急速に進出していることが分かった。一方で、正確な幾何、忠実な再構成、時間的一貫性、専門的な細粒度認識には依然として大きな課題が残る。

TraceDanceは、実際のエージェント運用で見つかった望ましくない行動を、対象を絞った評価ベンチマークへ変換するシステムです。環境全体を再現せず、記録済みの意思決定点からモデルの次の応答を評価します。

Duplex-MPEは、複数の人が共有する会話の中で、音声アシスタントが答えるべきか、黙るべきか、発話を止めるべきかを測るベンチマークです。発話頻度の高さだけでは、良い参加者とは限らないことが示されました。

機械学習による入札判断をプライバシー保護端末へ移すと、予算情報も分散し、同期遅延が発生する。新たな監査研究は、古い残高が過剰支出を拡大し、支払い変換が操作可能なインセンティブを生む可能性を示した。

IndicBankBenchは、インドのリテール銀行業務を想定した799件のケースで、言語モデルの安全性と信頼性を評価する。最終回答だけでなく、口座選択やツール利用、確認手続きまで検証する点が特徴だ。

TRACEは、証拠が有効になる時点、視覚履歴の扱い、応答を開始する条件を明示するストリーミング動画理解の評価 framework を提案する。研究結果は、同程度のQA精度でも、完了度や回答の有効性、生成負荷、応答タイミングが大きく異なり得ることを示した。

Kaggle Game Arenaは、チェス、ポーカー、人狼を使って大規模言語モデルを競争環境で評価する試みです。固定ベンチマークでは捉えにくい計画性、適応力、不確実性への対応を、実際の対局を通じて調べます。

AgentWorldは、複数のLLMエージェントが単なる能力の寄せ集めではなく、長期的に協調できるかをMMORPG型サンドボックスで評価する。実験では、通信、役割分担、共有計画に大きな課題が残ることが示された。

本番のText-to-SQLパイプラインを監査した研究から、LLM-as-Judgeが人間の判断と大きく食い違い、正しいSQLを過剰に問題視するケースが明らかになった。モデルの入れ替えと慎重なルーティングが、単純なモデル追加より有効だった。

ScopeBenchは、攻撃能力と、顧客から与えられた範囲を守る能力を分けて評価する。目標達成の圧力がかかったとき、より高性能なモデルが必ずしも安全とは限らないことを示した。

BioEVALは22の研究グループが共同で構築した、生体工学向けの大規模言語モデル・マルチモーダルモデル評価基盤です。知識問題だけでなく、文献統合や実験画像の解釈まで調べ、分野ごとの能力差を示しました。

パラメータ数やFLOPsはモデル規模と計算量を示しますが、同じ予算を深さや幅、ヘッド数にどう配分したかまでは捉えられません。NSCはネットワーク仕様だけから構造的な容量を推定し、動的計画法で予算内の設計を探索します。

ExplorationBenchは、AIが未知の規則を実験によって発見したのか、それとも事前学習の記憶を呼び出しただけなのかを検証するためのベンチマークだ。実行可能で常識に反する仮想世界を用い、回答を厳密に確認する。

標準APIのカスタムツール呼び出しを使い、研究者が最先端モデルの中間推論の一部を外部化した。GPT-6 Astraは短く直線的な推論を示したが、可視化された記録だけで真の内部思考を証明することはできない。

WhatWorkedBenchは、限られた実験回数でコンポーネント変更の影響を予測できるかを評価するベンチマークです。ガウス過程やコードの動作等価性を利用すると、効果の復元精度が大きく向上しました。

大規模言語モデルは、どれだけ正解できるかだけでなく、自分の回答がどの程度確かなのかを適切に示せるかでも評価すべきだとする立場論文が発表された。校正手法はすでに存在しており、課題は評価現場での普及にある。

研究チームは、リポジトリの動作を保ったまま名称や構成を動的に変える SchrodingerRepo を提案しました。SWE-bench などの静的ベンチマークで、モデルが既知の手がかりに依存していないかを検証します。

新しい研究は、言語モデルが答えを知らないのか、それとも知っていながら隠しているのかを、内部状態から見分けるPIRを提案しました。欺瞞的な指示やサンドバッギング、パスワードロック、回路遮断の条件でも、モデルが認識している選択肢を検出できると報告されています。

英国AI安全研究所（AISI）は、EvalEvalのEvaluation Cardsを通じて、選定したモデル評価の結果だけでなく、設定や手法、背景情報も公開し始めた。評価プロトコルによる差を可視化し、結果の検証と比較を容易にする取り組みだ。

CADWorldは、FreeCAD上で機械CADの長期ワークフローを評価するベンチマークです。画面操作だけでなく、形状や拘束、パラメトリック構造を保った検証可能な設計ファイルを作れるかを測定します。