CCTest · Blog
CUA-SWE、画面を見て修正を検証するソフトウェア工学エージェントを評価
モデル評価
cctest.ai
モデル評価

CUA-SWE、画面を見て修正を検証するソフトウェア工学エージェントを評価

CUA-SWEは、コード編集、コマンド実行、GUI操作、視覚的なフィードバックの確認を一つのタスクに統合するベンチマークです。コーディングエージェントとコンピュータ操作エージェントの間にある評価上の空白を埋めようとしています。

続きを読む
CCTest · Blog
連続動画ストリームで自己教師あり学習が難しくなる理由
視覚・動画
cctest.ai
視覚・動画

連続動画ストリームで自己教師あり学習が難しくなる理由

フレームを時間順に処理し、全体シャッフルや複数エポックの再利用を行わない環境では、従来の視覚自己教師あり学習が大きく性能を落とす。研究チームは、入力パイプラインを調整したStreamMAEでこの問題に取り組んだ。

続きを読む
CCTest · Blog
Physis-Lang:進化する物理言語で動画世界モデルを改善
世界モデル
cctest.ai
世界モデル

Physis-Lang:進化する物理言語で動画世界モデルを改善

NVIDIAの研究チームは、物体や因果関係、相互作用、時間変化を記述する物理言語を、動画の収集・学習・生成に共通する表現として扱うPhysis-Langを提案しました。原子レベルの断言評価と言語誘導検索により、物理的に妥当な動画生成を目指します。

続きを読む
CCTest · Blog
A2Z GameSpec-Bench、コーディングエージェントのゲーム設計忠実度を検証
モデル評価
cctest.ai
モデル評価

A2Z GameSpec-Bench、コーディングエージェントのゲーム設計忠実度を検証

A2Z GameSpec-Benchは、100件の長文ゲーム設計書を基に、コーディングエージェントが実行可能なコードだけでなく設計意図まで再現できるかを評価する。ソースコード検査に加え、シナリオ再生と適応的プレイテストも組み合わせる。

続きを読む
CCTest · Blog
PatchHolmes、リスト全体を比較するエージェントで脆弱性修正コミットを特定
AIエージェント
cctest.ai
AIエージェント

PatchHolmes、リスト全体を比較するエージェントで脆弱性修正コミットを特定

PatchHolmesは、ハイブリッド検索で候補を絞り込んだ後、エージェントに候補リスト全体を比較させ、脆弱性を修正したコミットを選ぶ。個別判定方式より高いトップ1検索精度を、少ない対話回数で実現した。

続きを読む
CCTest · Blog
AREX-2:長期的な反省と反復で成長するAIエージェント
AIエージェント
cctest.ai
AIエージェント

AREX-2:長期的な反省と反復で成長するAIエージェント

AREX-2は、自己改善型エージェントに必要な能力を「反省」と「長期実行」に分け、機械学習やアルゴリズムプログラミングから長期改善の軌跡を合成する手法を示した。技術タスクで学習した能力は、深い調査のベンチマークにも転移した。

続きを読む
CCTest · Blog
AIM、研究アイデアを管理する自律型リサーチ基盤を提案
AI科学研究
cctest.ai
AI科学研究

AIM、研究アイデアを管理する自律型リサーチ基盤を提案

自動化された科学研究では、実験を実行するだけでなく、どの研究方向に資源を投入するかを判断する必要があります。AIMはアイデアの整理、選択、実装監査、実験予算の配分を検索ループに組み込みます。

続きを読む
CCTest · Blog
潜在通信がマルチエージェントの新たな安全リスクに
AIセーフティ
cctest.ai
AIセーフティ

潜在通信がマルチエージェントの新たな安全リスクに

新たな研究は、基盤モデルを変更しなくても、学習可能な潜在通信リンクが拒否挙動を弱める可能性を示した。リンクを悪意ある目的で最適化すれば有害な要求への従属をさらに高められる一方、安全性を重視した報酬による修復も可能だという。

続きを読む
CCTest · Blog
WUSH-KV:データ適応型変換で低ビット KV キャッシュ量子化を改善
メモリ・コンテキスト
cctest.ai

WUSH-KV:データ適応型変換で低ビット KV キャッシュ量子化を改善

WUSH-KV は、キャリブレーションデータから Key と Value 用の変換を個別に構築し、低ビット KV キャッシュ量子化の誤差を抑える手法です。2-bit 評価では、検証したモデルと下流タスク全体で OSCAR 変換と同等以上の結果が報告されています。

続きを読む
CCTest · Blog
非侵襲型ブレイン・トゥ・テキストの成績を押し上げた「時間の近道」
モデル評価
cctest.ai
モデル評価

非侵襲型ブレイン・トゥ・テキストの成績を押し上げた「時間の近道」

非侵襲型の脳活動からテキストを復元するモデルが、脳信号ではなく単語の発話時間を利用していた可能性が示された。時間情報の漏洩を抑える単純な設計変更により、反復観測と言語モデルの効果も高まった。

続きを読む
CCTest · Blog
ロボットは記憶だけでは足りない:変化する世界を進むEvolvingNav
ロボティクス・フィジカルAI
cctest.ai

ロボットは記憶だけでは足りない:変化する世界を進むEvolvingNav

ロボットが向かっている間に、記憶された物体の位置が変わることがあります。EvolvingNavは、時間付き3D記憶と確率的な信念更新を組み合わせ、変化する環境でのナビゲーションを目指します。

続きを読む
CCTest · Blog
失敗から学ぶAIエージェント:AEDが5万件のエラー診断データを公開
AIエージェント
cctest.ai
AIエージェント

失敗から学ぶAIエージェント:AEDが5万件のエラー診断データを公開

Agent Error Datasetは、LLMエージェントの失敗軌跡を検証可能な学習信号へ変換するデータセットです。50,228件のエラー診断ペアを通じて、失敗の原因分析と具体的な行動修正を結び付けます。

続きを読む
CCTest · Blog
MaLiang-Harness、実行可能コードを視覚的な完成度へつなぐ
モデル評価
cctest.ai
モデル評価

MaLiang-Harness、実行可能コードを視覚的な完成度へつなぐ

MaLiang-Harnessは、画像・動画生成における「コードは動くが、見た目が要求どおりではない」という問題をP2Vギャップとして整理します。プログラム、レンダリング結果、修正履歴を結び付け、生成を継続的な検査と修正のプロセスに変えます。

続きを読む
CCTest · Blog
Omni-IO Skills:汎用エージェントをマルチモーダル化する実行基盤
AIエージェント
cctest.ai
AIエージェント

Omni-IO Skills:汎用エージェントをマルチモーダル化する実行基盤

Omni-IO Skillsは、基盤モデルを再学習する代わりに、既存エージェントの外側へSkillsと実行管理機能を追加する。複数モダリティにまたがる成果物、依存関係、中間資産を一つのワークフローとして扱える。

続きを読む
CCTest · Blog
ロボットの文脈内学習:実演を転移可能な行動へ変える方法
ロボティクス・フィジカルAI
cctest.ai

ロボットの文脈内学習:実演を転移可能な行動へ変える方法

ロボットの文脈内学習を四つの実行インターフェースに整理したサーベイを紹介します。実演から得た要求を、環境や物体が変わっても維持して実行するための考え方と評価軸を解説します。

続きを読む
CCTest · Blog
世界行動モデルの汎化を支えるのは「未来の完全生成」ではない
世界モデル
cctest.ai
世界モデル

世界行動モデルの汎化を支えるのは「未来の完全生成」ではない

新しい実証研究は、世界行動モデルが推論時に未来動画を最後まで生成しなくても、汎化性能の利点を維持できる可能性を示した。重要なのは、行動を決める前に未来表現を準備することだという。

続きを読む
CCTest · Blog
分割KVキャッシュ圧縮が生む周期的な検索の弱点
メモリ・コンテキスト
cctest.ai

分割KVキャッシュ圧縮が生む周期的な検索の弱点

分割型KVキャッシュ圧縮を使うモデルでは、同じ情報でも圧縮ウィンドウ内の位置によって検索しやすさが変わることが分かりました。平均スコアだけでは、周期的に現れる弱点を見落とす可能性があります。

続きを読む
CCTest · Blog
AsyncLLM、大規模言語モデルを汎用非同期エージェントへ
AIエージェント
cctest.ai
AIエージェント

AsyncLLM、大規模言語モデルを汎用非同期エージェントへ

Yandex Researchは、事前学習済みモデルが観察・推論・行動を同時に進められるオープンソースフレームワークAsyncLLMを公開した。追加のタスク専用学習なしで、Qwen 3.xをストリーミング動画理解やゲーム、監視に適用した例を示している。

続きを読む