CCTest · Blog
LIBERO-Industry、工場制約下のロボット操作能力を評価
ロボティクス・フィジカルAI
cctest.ai

LIBERO-Industry、工場制約下のロボット操作能力を評価

LIBERO-Industryは、製品形状の変化、動くコンベヤー、限られた実行時間、厳しい位置決め許容差をロボット評価に組み込むベンチマークです。制約が重なるほど、汎用ロボット方策の性能が段階的に低下することを示しました。

続きを読む
CCTest · Blog
BizBenchが示す、長期業務エージェント評価の盲点
モデル評価
cctest.ai
モデル評価

BizBenchが示す、長期業務エージェント評価の盲点

BizBenchは実際の決済業務をモデルに、長期エージェントの最終結果だけでなく、規則の適用、権限、資源制約、実行途中のコンプライアンスを検証する。評価結果は、目標を達成しても途中で不正な操作を行うモデルが少なくないことを示した。

続きを読む
CCTest · Blog
HexaShell、VLMコーディングエージェントでロボット操作の限界を探る
ロボティクス・フィジカルAI
cctest.ai

HexaShell、VLMコーディングエージェントでロボット操作の限界を探る

HexaShellは、視覚言語モデルのコーディングエージェントに双腕ロボットをコマンドラインから操作させる薄い制御基盤です。失敗ログからツールを修正し、RoboDojoの42タスクで39.7%の成功率を報告しました。

続きを読む
CCTest · Blog
画像生成は統合マルチモーダルモデルの知識を拡張できるのか
マルチモーダル
cctest.ai
マルチモーダル

画像生成は統合マルチモーダルモデルの知識を拡張できるのか

新たな研究は、画像生成の学習だけでも一部の新しい事実がテキスト質問応答へ移ることを示しました。ただし移転は不均一であり、テキスト整合や画像・テキスト交互整合によって知識へのアクセスが改善されます。

続きを読む
CCTest · Blog
DLite、エージェントAI向けに履歴を持たない投機的デコードを提案
推論・デプロイ
cctest.ai
推論・デプロイ

DLite、エージェントAI向けに履歴を持たない投機的デコードを提案

DLite は、長く変化し続けるコンテキストによって投機的デコードの効率が低下する問題に取り組む。ターゲットモデルがすでに計算した隠れ状態を再利用し、ドラフト側で完全な履歴を保持せずに局所的な予測を行う。

続きを読む
CCTest · Blog
埋め込みは高すぎる?固定トークンコードで小型LMを46MBに圧縮
推論・デプロイ
cctest.ai
推論・デプロイ

埋め込みは高すぎる?固定トークンコードで小型LMを46MBに圧縮

学習可能なEmbedding表を、事前学習済み表から作った512ビットの固定コードに置き換える研究が発表されました。学習パラメータを減らしながら多くのベンチマークで同等以上の結果を示し、三値化モデル全体を46MBまで縮小しています。

続きを読む
CCTest · Blog
認識できても根拠は揃わない:多言語財務抽出の盲点
モデル評価
cctest.ai
モデル評価

認識できても根拠は揃わない:多言語財務抽出の盲点

新たなベンチマークは、言語モデルが財務概念を高精度で認識しても、それを裏付ける数値事実をすべて回収できるとは限らないことを示した。多言語の財務分析では、認識精度だけでは信頼性を測れない。

続きを読む
CCTest · Blog
ブラウザーエージェントを守るのは、表示文ではなくWeb要素の意味
AIセーフティ
cctest.ai
AIセーフティ

ブラウザーエージェントを守るのは、表示文ではなくWeb要素の意味

Webページに埋め込まれた第三者の文章は、ブラウザーエージェントを誘導し、ユーザーの権限で本来無関係な操作を実行させる可能性がある。Intactは要素の出所と能力を保持し、モデルの外側で実行範囲を制限する。

続きを読む
CCTest · Blog
LiveMACE、収益だけでなくLLMエージェントの能力過程を診断
モデル評価
cctest.ai
モデル評価

LiveMACE、収益だけでなくLLMエージェントの能力過程を診断

LiveMACEは、変化し続ける金融市場でLLMエージェントを評価するプロセス重視のベンチマークです。最終収益だけでは、ツール利用や記憶、ルール遵守、協調能力を正確に捉えられないことを示します。

続きを読む
CCTest · Blog
ACT3D、視覚言語モデルに3D空間の能動探索を学習させる
AIエージェント
cctest.ai
AIエージェント

ACT3D、視覚言語モデルに3D空間の能動探索を学習させる

ACT3Dは、複数視点の画像や完全な3D表現をそのまま入力する代わりに、モデルが一度に一枚の画像を見て移動し、新しい視点を得る仕組みを採用する。最終回答の正しさを主な報酬にする強化学習によって、モデルは何を見に行くべきかを自ら学ぶ。

続きを読む
CCTest · Blog
Speculative Samplingが切り開く低遅延な対話型動画生成
推論・デプロイ
cctest.ai
推論・デプロイ

Speculative Samplingが切り開く低遅延な対話型動画生成

Speculative Samplingは、学習を追加せずに大きな双方向ウィンドウの表現力と、小さなウィンドウによる応答性を両立させる推論・配信手法です。予測をキャッシュし、確定した部分から段階的に表示します。

続きを読む
CCTest · Blog
TreeOPSD、木構造と事後蒸留で長期エージェント強化学習を改善
強化学習
cctest.ai
強化学習

TreeOPSD、木構造と事後蒸留で長期エージェント強化学習を改善

TreeOPSDは、価値ネットワークを使わずに長期的なエージェント学習を行う手法です。共有された接頭辞から複数の継続を分岐させ、終端報酬からターン単位の信用を推定し、方策の陳腐化を抑える有界な教師分布を作ります。

続きを読む
CCTest · Blog
DuoDiscover、迅速な評価器で自律発見のボトルネックを突破
モデル評価
cctest.ai
モデル評価

DuoDiscover、迅速な評価器で自律発見のボトルネックを突破

DuoDiscoverは、何を最適化するかだけでなく、進捗をどう速く測るかもコーディングエージェントに発見させる探索システムです。高速な代理評価器を真の評価で継続的に検証し、誤った指標への過適応を抑えます。

続きを読む
CCTest · Blog
AIエージェントは物理研究を本当に完結できるのか
AI科学研究
cctest.ai
AI科学研究

AIエージェントは物理研究を本当に完結できるのか

PhysClosureBenchは、AIがもっともらしい計算を出すだけでなく、必要な証拠を集め、適用範囲を確認し、科学的な結論まで到達できるかを評価する。結果は、局所的な能力と研究の完全な完結との間に大きな差があることを示した。

続きを読む
CCTest · Blog
OpenMobile-2、オープン環境とネイティブツールでモバイルエージェントを強化
AIエージェント
cctest.ai
AIエージェント

OpenMobile-2、オープン環境とネイティブツールでモバイルエージェントを強化

OpenMobile-2 は、110以上のアプリを含むオープンな訓練環境と、大規模な検証可能データを公開するモバイルエージェント研究です。GUI操作とアプリ固有ツールを同じタスク内で組み合わせる方式も検討しています。

続きを読む
CCTest · Blog
AIエージェントは独立して科学研究を行えるのか?基準評価が示した課題
AI科学研究
cctest.ai
AI科学研究

AIエージェントは独立して科学研究を行えるのか?基準評価が示した課題

「Into the Unknown」は、未解決の科学的テーマについてAIエージェントに追試・発展論文を書かせるベンチマークです。論文らしい文章は生成できても、証拠に裏付けられた研究を実行する能力には大きな差が残りました。

続きを読む
CCTest · Blog
MOSS-Image、オープンな画像生成で長文と複雑なレイアウトに挑戦
拡散モデル
cctest.ai
拡散モデル

MOSS-Image、オープンな画像生成で長文と複雑なレイアウトに挑戦

MOSS-Imageは、5B規模の単一ストリーム拡散Transformerと、意図を理解するプロンプト強化モジュールを組み合わせた画像生成システムです。英語・中国語の長文描画と、情報量の多いレイアウト生成を主な対象にしています。

続きを読む