Sauron:証拠を先に調べるエージェント評価
長期タスクでは、成功を示す証拠が環境の状態と実行履歴に分散するため、単純なルーブリック評価は誤判定を起こしやすい。Sauronは主張をそのまま信じず、根拠を独立に確認してから判定する。
続きを読むClaude API 中継局のガイド、検出の仕組み、LLM API の実測ノウハウ
全 2320 件の記事
RSS 購読長期タスクでは、成功を示す証拠が環境の状態と実行履歴に分散するため、単純なルーブリック評価は誤判定を起こしやすい。Sauronは主張をそのまま信じず、根拠を独立に確認してから判定する。
続きを読むガードレール分類器の安全スコアは、危険性をどれだけ検出できるかだけでなく、学習ラベルに埋め込まれた運用方針に大きく左右される可能性がある。研究では、わずかなパラメータ変更や教師モデルのソフトラベルでも評価結果が大きく変化した。
続きを読むStopLossは、完了済みの軌跡と検証結果で学習した小型モニターです。直近のツール操作から失敗の可能性を推定し、無駄に高コストな実行を早期に打ち切ります。
続きを読むCoPEは、言語エージェントの強化学習に複数ステップの行動予測を導入し、最終報酬だけでなく成功軌跡の途中にある情報も学習に利用します。5つのベンチマークでGRPOなどの手法と比較され、サンプル効率は一部のベースラインに対して最大でおよそ2倍に達しました。
続きを読むHandsOnは、ロボット本体や物体、空間関係、タスク要求をまたいだ器用な操作の汎化を評価する、構成可能なシミュレーション基盤とベンチマークです。実験結果は、接触の確立や複数の指の協調、未知タスクへの転移が依然として難しいことを示しています。
続きを読むJEPAは表現学習から、予測・計画・制御を担う潜在世界モデルへと発展しつつある。一方、その内部状態には人間が直接理解できるインターフェースがないため、解釈可能性の対象を表現の内容から潜在変数の働きへ広げる必要がある。
続きを読むHERAは、エージェントの実行ハーネスと環境を共進化させ、解ける課題と解が存在しない課題を見分ける仕組みを提案する。拒否判断の精度を高めながら、実行可能な課題の完了率も改善した。
続きを読む新研究は、長期タスクを実行する LLM エージェント向けに EC2-Bench を提案し、性能・資源利用・プライバシー露出を一体で評価した。エッジモデルが強くなるほど、クラウドに実行を任せる方式から、エッジが判断しクラウドが助言する方式へ移行する。
続きを読む科学的アイデアを一つずつ評価するのではなく、複数案の組み合わせとして最適化する研究が提案された。8Bモデルは、品質と多様性を両立する指標で高い性能を示し、実行可能性も大きく損なわなかった。
続きを読むCyberArenaは、固定された標的を攻略させる従来の評価から、攻撃と防御が同時に進む多ラウンドの対戦へと軸足を移す。40の課題と466試合で、ライブ防御下におけるモデル差を可視化した。
続きを読むOR-Licenseは、実際の顧客資料を出発点に、LLMエージェントが運用研究の解決策を最後まで納品できるかを評価するベンチマークです。条件付きの目的関数では高い結果が出ても、実行可能性を含む総合的な信頼性には専門家との差が残りました。
続きを読むAdaExploreBenchは、LLMエージェントが隠れた環境ルールを自ら調べ、必要な証拠を集め、ルールの変化に気づけるかを評価する。結果からは、与えられた情報を推論する能力に比べ、情報を能動的に獲得する能力の弱さが浮かび上がった。
続きを読むBlenderWorldは、現実の参照資料をもとに3Dコンテンツを制作する視覚エージェント向けのベンチマークです。最先端モデルは大まかな指示を理解できる一方、空間の整合性や構造の再現、編集可能なBlenderプロジェクトの完成には依然として課題を残しています。
続きを読む新たな研究は、言語モデルから抽出した拒否に関する内部表現が、テキストだけでなく画像や動画にも適用できる可能性を示した。MARSは、マルチモーダル安全データや追加学習を使わずに、この性質を安全制御へ応用する。
続きを読む新たな研究は、配備中のロボットが実行経験を共有し、失敗した状況に関連する成功軌跡から行動を検索する学習枠組みを提案した。追加の専門家による修正操作を集めずに、操作方策の信頼性向上を目指す。
続きを読むOpenVLHarnessは、マルチモーダルモデルに視覚ツール、ウェブ検索、Python計算を接続する、追加学習不要の推論基盤です。ツールが取得した画像やデータを推論中に保持し、後続のステップで再利用できるようにします。
続きを読むSelf-HPOは、エージェント自身に失敗を分析させてHarness候補を提案させ、その環境で方策モデルを強化学習する循環型フレームワークです。3つのコードベンチマークで、Qwen3.5-35B-A3Bの平均解決率を57.8%から64.8%へ引き上げました。
続きを読むAffordanceWAMは、人間動画から物体、操作可能な領域、シーンの変化を学習し、限られたロボット軌跡と組み合わせて操作行動を生成するモデルです。人間動画の行動ラベルやモーションリターゲティングを必要としません。
続きを読むストリーミング型の世界モデルは、自らの予測を次の入力に使うため、長いロールアウトで誤差が蓄積しやすい。Frechet Forcingは教師モデルや長時間動画を使わず、実データの統計と自己生成履歴によってシーンの一貫性を保つ。
続きを読む清華大学の研究チームは、インタラクティブな世界モデルにおける状態更新と動画レンダリングを分離するStateful Harnessを提案しました。WorldState-Benchでは、同じ動画モデルを使ったまま、対になったケースの正解率を92%まで高めています。
続きを読むスタンフォード大学の研究チームは、1億組の画像・テキスト対からゼロから学習する早期融合型マルチモーダル自己回帰モデルHalcyonを提案した。実験は、強力なテキスト・画像生成に大規模な言語事前学習が必須とは限らないことを示している。
続きを読む