CUA-SWE、画面を見て修正を検証するソフトウェア工学エージェントを評価
CUA-SWEは、コード編集、コマンド実行、GUI操作、視覚的なフィードバックの確認を一つのタスクに統合するベンチマークです。コーディングエージェントとコンピュータ操作エージェントの間にある評価上の空白を埋めようとしています。
続きを読むClaude API 中継局のガイド、検出の仕組み、LLM API の実測ノウハウ
全 2320 件の記事
RSS 購読CUA-SWEは、コード編集、コマンド実行、GUI操作、視覚的なフィードバックの確認を一つのタスクに統合するベンチマークです。コーディングエージェントとコンピュータ操作エージェントの間にある評価上の空白を埋めようとしています。
続きを読むフレームを時間順に処理し、全体シャッフルや複数エポックの再利用を行わない環境では、従来の視覚自己教師あり学習が大きく性能を落とす。研究チームは、入力パイプラインを調整したStreamMAEでこの問題に取り組んだ。
続きを読むNVIDIAの研究チームは、物体や因果関係、相互作用、時間変化を記述する物理言語を、動画の収集・学習・生成に共通する表現として扱うPhysis-Langを提案しました。原子レベルの断言評価と言語誘導検索により、物理的に妥当な動画生成を目指します。
続きを読むA2Z GameSpec-Benchは、100件の長文ゲーム設計書を基に、コーディングエージェントが実行可能なコードだけでなく設計意図まで再現できるかを評価する。ソースコード検査に加え、シナリオ再生と適応的プレイテストも組み合わせる。
続きを読むPatchHolmesは、ハイブリッド検索で候補を絞り込んだ後、エージェントに候補リスト全体を比較させ、脆弱性を修正したコミットを選ぶ。個別判定方式より高いトップ1検索精度を、少ない対話回数で実現した。
続きを読むAREX-2は、自己改善型エージェントに必要な能力を「反省」と「長期実行」に分け、機械学習やアルゴリズムプログラミングから長期改善の軌跡を合成する手法を示した。技術タスクで学習した能力は、深い調査のベンチマークにも転移した。
続きを読む自動化された科学研究では、実験を実行するだけでなく、どの研究方向に資源を投入するかを判断する必要があります。AIMはアイデアの整理、選択、実装監査、実験予算の配分を検索ループに組み込みます。
続きを読む報酬モデルは、長い回答や自信のある口調、ユーザーへの迎合を品質の高さと取り違えることがある。BiasReducerは線形報酬ヘッドだけを編集し、データセットごとに必要な補正を選択する。
続きを読む新たな研究は、基盤モデルを変更しなくても、学習可能な潜在通信リンクが拒否挙動を弱める可能性を示した。リンクを悪意ある目的で最適化すれば有害な要求への従属をさらに高められる一方、安全性を重視した報酬による修復も可能だという。
続きを読むWUSH-KV は、キャリブレーションデータから Key と Value 用の変換を個別に構築し、低ビット KV キャッシュ量子化の誤差を抑える手法です。2-bit 評価では、検証したモデルと下流タスク全体で OSCAR 変換と同等以上の結果が報告されています。
続きを読む非侵襲型の脳活動からテキストを復元するモデルが、脳信号ではなく単語の発話時間を利用していた可能性が示された。時間情報の漏洩を抑える単純な設計変更により、反復観測と言語モデルの効果も高まった。
続きを読むロボットが向かっている間に、記憶された物体の位置が変わることがあります。EvolvingNavは、時間付き3D記憶と確率的な信念更新を組み合わせ、変化する環境でのナビゲーションを目指します。
続きを読むEvoDuetは、ウェブ検索を固定的な付加機能ではなく、解候補の進化と同時に改善されるプロセスとして扱う。複数の科学最適化タスクで成果を高めた一方、効果はモデルによって大きく異なる。
続きを読むWorldAuditBenchは、3D環境を探索し、異常を発見して検証する能力を評価するベンチマークです。現在のモデルは、移動計画と視覚推論を結び付ける点で、なお人間に大きく及びません。
続きを読むAgent Error Datasetは、LLMエージェントの失敗軌跡を検証可能な学習信号へ変換するデータセットです。50,228件のエラー診断ペアを通じて、失敗の原因分析と具体的な行動修正を結び付けます。
続きを読むMaLiang-Harnessは、画像・動画生成における「コードは動くが、見た目が要求どおりではない」という問題をP2Vギャップとして整理します。プログラム、レンダリング結果、修正履歴を結び付け、生成を継続的な検査と修正のプロセスに変えます。
続きを読むOmni-IO Skillsは、基盤モデルを再学習する代わりに、既存エージェントの外側へSkillsと実行管理機能を追加する。複数モダリティにまたがる成果物、依存関係、中間資産を一つのワークフローとして扱える。
続きを読むロボットの文脈内学習を四つの実行インターフェースに整理したサーベイを紹介します。実演から得た要求を、環境や物体が変わっても維持して実行するための考え方と評価軸を解説します。
続きを読む新しい実証研究は、世界行動モデルが推論時に未来動画を最後まで生成しなくても、汎化性能の利点を維持できる可能性を示した。重要なのは、行動を決める前に未来表現を準備することだという。
続きを読む分割型KVキャッシュ圧縮を使うモデルでは、同じ情報でも圧縮ウィンドウ内の位置によって検索しやすさが変わることが分かりました。平均スコアだけでは、周期的に現れる弱点を見落とす可能性があります。
続きを読むYandex Researchは、事前学習済みモデルが観察・推論・行動を同時に進められるオープンソースフレームワークAsyncLLMを公開した。追加のタスク専用学習なしで、Qwen 3.xをストリーミング動画理解やゲーム、監視に適用した例を示している。
続きを読む