LIBERO-Industry、工場制約下のロボット操作能力を評価
LIBERO-Industryは、製品形状の変化、動くコンベヤー、限られた実行時間、厳しい位置決め許容差をロボット評価に組み込むベンチマークです。制約が重なるほど、汎用ロボット方策の性能が段階的に低下することを示しました。
続きを読むClaude API 中継局のガイド、検出の仕組み、LLM API の実測ノウハウ
全 2320 件の記事
RSS 購読LIBERO-Industryは、製品形状の変化、動くコンベヤー、限られた実行時間、厳しい位置決め許容差をロボット評価に組み込むベンチマークです。制約が重なるほど、汎用ロボット方策の性能が段階的に低下することを示しました。
続きを読むBizBenchは実際の決済業務をモデルに、長期エージェントの最終結果だけでなく、規則の適用、権限、資源制約、実行途中のコンプライアンスを検証する。評価結果は、目標を達成しても途中で不正な操作を行うモデルが少なくないことを示した。
続きを読むHexaShellは、視覚言語モデルのコーディングエージェントに双腕ロボットをコマンドラインから操作させる薄い制御基盤です。失敗ログからツールを修正し、RoboDojoの42タスクで39.7%の成功率を報告しました。
続きを読む新たな研究は、画像生成の学習だけでも一部の新しい事実がテキスト質問応答へ移ることを示しました。ただし移転は不均一であり、テキスト整合や画像・テキスト交互整合によって知識へのアクセスが改善されます。
続きを読むDiscoveryRSIは、科学仮説の発見を反復的かつ実行可能なワークフローとして設計する。マルチエージェント探索と再帰的学習により、仮説の反証可能性とデータ解決可能性を高める。
続きを読むDLite は、長く変化し続けるコンテキストによって投機的デコードの効率が低下する問題に取り組む。ターゲットモデルがすでに計算した隠れ状態を再利用し、ドラフト側で完全な履歴を保持せずに局所的な予測を行う。
続きを読むSciΠvotは、上級研究者がLLM研究エージェントを修正した実例を使い、科学的判断を評価するベンチマークです。モデルは専門家の修正版より、元の計画を選びやすいことが分かりました。
続きを読む学習可能なEmbedding表を、事前学習済み表から作った512ビットの固定コードに置き換える研究が発表されました。学習パラメータを減らしながら多くのベンチマークで同等以上の結果を示し、三値化モデル全体を46MBまで縮小しています。
続きを読む新たなベンチマークは、言語モデルが財務概念を高精度で認識しても、それを裏付ける数値事実をすべて回収できるとは限らないことを示した。多言語の財務分析では、認識精度だけでは信頼性を測れない。
続きを読む従来のWeb生成ベンチマークは固定仕様に対する一度きりの実装を主に評価してきました。EvoWebは、既存コードを何度も変更しながら機能を維持できるかを検証します。
続きを読むWebページに埋め込まれた第三者の文章は、ブラウザーエージェントを誘導し、ユーザーの権限で本来無関係な操作を実行させる可能性がある。Intactは要素の出所と能力を保持し、モデルの外側で実行範囲を制限する。
続きを読むLiveMACEは、変化し続ける金融市場でLLMエージェントを評価するプロセス重視のベンチマークです。最終収益だけでは、ツール利用や記憶、ルール遵守、協調能力を正確に捉えられないことを示します。
続きを読むACT3Dは、複数視点の画像や完全な3D表現をそのまま入力する代わりに、モデルが一度に一枚の画像を見て移動し、新しい視点を得る仕組みを採用する。最終回答の正しさを主な報酬にする強化学習によって、モデルは何を見に行くべきかを自ら学ぶ。
続きを読むSpeculative Samplingは、学習を追加せずに大きな双方向ウィンドウの表現力と、小さなウィンドウによる応答性を両立させる推論・配信手法です。予測をキャッシュし、確定した部分から段階的に表示します。
続きを読むTreeOPSDは、価値ネットワークを使わずに長期的なエージェント学習を行う手法です。共有された接頭辞から複数の継続を分岐させ、終端報酬からターン単位の信用を推定し、方策の陳腐化を抑える有界な教師分布を作ります。
続きを読むDuoDiscoverは、何を最適化するかだけでなく、進捗をどう速く測るかもコーディングエージェントに発見させる探索システムです。高速な代理評価器を真の評価で継続的に検証し、誤った指標への過適応を抑えます。
続きを読むPhysClosureBenchは、AIがもっともらしい計算を出すだけでなく、必要な証拠を集め、適用範囲を確認し、科学的な結論まで到達できるかを評価する。結果は、局所的な能力と研究の完全な完結との間に大きな差があることを示した。
続きを読むOpenMobile-2 は、110以上のアプリを含むオープンな訓練環境と、大規模な検証可能データを公開するモバイルエージェント研究です。GUI操作とアプリ固有ツールを同じタスク内で組み合わせる方式も検討しています。
続きを読む「Into the Unknown」は、未解決の科学的テーマについてAIエージェントに追試・発展論文を書かせるベンチマークです。論文らしい文章は生成できても、証拠に裏付けられた研究を実行する能力には大きな差が残りました。
続きを読むMOSS-Imageは、5B規模の単一ストリーム拡散Transformerと、意図を理解するプロンプト強化モジュールを組み合わせた画像生成システムです。英語・中国語の長文描画と、情報量の多いレイアウト生成を主な対象にしています。
続きを読む