CCTest · Blog
複雑なエージェント記憶は必須ではない?Raw-RAGが示す原情報の強さ
メモリ・コンテキスト
cctest.ai

複雑なエージェント記憶は必須ではない?Raw-RAGが示す原情報の強さ

未加工の会話履歴を密検索と再ランキングで取得する Raw-RAG が、4つのベンチマークの7設定中6設定で比較対象の記憶システムを上回りました。複雑な記憶構造より、元の証拠を残すことが重要である可能性を示しています。

続きを読む
CCTest · Blog
AgentVQA、視覚モデルのエージェント環境理解を検証
モデル評価
cctest.ai
モデル評価

AgentVQA、視覚モデルのエージェント環境理解を検証

AgentVQA は、ウェブ、ロボット、ゲームなど5分野から現実的な事例を集め、視覚言語モデルのエージェント向け視覚理解を評価する。22モデルの検証では、最高精度は58.5%にとどまり、UIの特定や状態追跡が大きな課題として浮かび上がった。

続きを読む
CCTest · Blog
MolLean:化学推論を実行可能で検証できるプロセスへ
AI科学研究
cctest.ai
AI科学研究

MolLean:化学推論を実行可能で検証できるプロセスへ

MolLeanは、明示的な分子状態に化学推論を結び付け、Leanベースのカーネルで構造編集や主張を検証する。8800件の対応サンプルによる評価では、全軌跡の改良が12種類すべてのタスクで直接的な思考連鎖を上回った。

続きを読む
CCTest · Blog
vLLM、16基のH200でGLM-5.3の100万トークン推論を実現
推論・デプロイ
cctest.ai
推論・デプロイ

vLLM、16基のH200でGLM-5.3の100万トークン推論を実現

vLLMは、Prefill Context Parallelism、Decode Context Parallelism、Hybrid HiSparseを組み合わせ、8基のH200を備えた2ノードでGLM-5.3を提供する構成を示した。AgentXでは、同じスループットのデータ並列構成に対し、ユーザー単位の速度が1.7~3.2倍となり、試した構成の中で唯一100万トークンのコンテキストを処理できた。

続きを読む
CCTest · Blog
SpatialScout、VLMエージェントの能動的な3D探索・地図構築を検証
モデル評価
cctest.ai
モデル評価

SpatialScout、VLMエージェントの能動的な3D探索・地図構築を検証

SpatialScoutは、視覚言語モデルがカメラを操作して視覚的証拠を集め、共通の3D座標系で物体を位置推定できるかを測るベンチマークです。結果は、粗いレイアウトの把握と、完全で精密なメトリックマップの構築との間に大きな差があることを示しました。

続きを読む
CCTest · Blog
DONIC、人間の実演から両手の器用なロボット操作を学習
ロボティクス・フィジカルAI
cctest.ai

DONIC、人間の実演から両手の器用なロボット操作を学習

DONIC は、多様な人間の両手動作を一つのポリシーで追跡する汎用バイマニュアル制御手法です。BiHOI データセットと組み合わせることで、追加学習なしに未知の軌道や物体へ一般化します。

続きを読む
CCTest · Blog
エージェント強化学習に「Harness Scaling」という新たな拡張軸
強化学習
cctest.ai
強化学習

エージェント強化学習に「Harness Scaling」という新たな拡張軸

新たな研究は、エージェントの実行基盤である Harness 自体を強化学習のスケーリング対象として扱います。構造化された複数 Harness で学習することで、未知の設定や外部のブラックボックス Harness への転移性能が高まりました。

続きを読む
CCTest · Blog
AI研究エージェントはモデルを改善できるが、科学もできるのか
AI科学研究
cctest.ai
AI科学研究

AI研究エージェントはモデルを改善できるが、科学もできるのか

Agent4Sciは、最先端のコーディングエージェントを20の科学機械学習ベンチマークで長期評価した。性能は伸びたものの、その多くは研究上の洞察ではなく、機械学習エンジニアリングの工夫によるものだった。

続きを読む
CCTest · Blog
Qwen-Audio-3.1-ASR、文字起こしから話者別・音声理解へ
音声・オーディオ
cctest.ai
音声・オーディオ

Qwen-Audio-3.1-ASR、文字起こしから話者別・音声理解へ

Qwen-Audio-3.1-ASRは、前世代から音声認識を強化し、話者分離付き文字起こしと汎用的な音声理解を追加したモデルファミリーです。多言語・中国語方言に対応し、ストリーミングや対話入力など複数の運用形態を想定しています。

続きを読む
CCTest · Blog
WorldStream、プレイヤーの移動に合わせて広がり変化を記憶する3D世界
世界モデル
cctest.ai
世界モデル

WorldStream、プレイヤーの移動に合わせて広がり変化を記憶する3D世界

WorldStreamは、プレイヤーの進行方向へ地形を継続的に拡張し、実行中の世界に自然言語で作用し、訪問済みの場所と編集内容を復元するオープンエンド型3Dワールドモデルです。階層的計画、決定的コンパイル、ストリーミング、永続的な世界記録を組み合わせています。

続きを読む
CCTest · Blog
VerifierBench、LLMエージェントが作る検証器の信頼性を評価
モデル評価
cctest.ai
モデル評価

VerifierBench、LLMエージェントが作る検証器の信頼性を評価

LLMエージェントには、タスクを解くだけでなく、その結果が正しいかを判定する仕組みも必要です。VerifierBenchは、生成された検証器が誤答を退ける一方で、正しい解答まで過度に拒否しやすいことを示しました。

続きを読む
CCTest · Blog
DiffResearch、拡散言語モデルで深層リサーチを約6倍高速化
拡散モデル
cctest.ai
拡散モデル

DiffResearch、拡散言語モデルで深層リサーチを約6倍高速化

DiffResearchは、マルチエージェント型の深層リサーチ基盤に拡散言語モデルを組み込みました。自律エージェントの構成や検索コードを固定した比較で、エンドツーエンドの遅延を大きく削減し、生成途中で検索クエリを取り出すdFastも提案しています。

続きを読む
CCTest · Blog
Quant-Arena、LLMの定量取引リサーチを一気通貫で検証
モデル評価
cctest.ai
モデル評価

Quant-Arena、LLMの定量取引リサーチを一気通貫で検証

Quant-Arenaは、仮説の立案からシグナル実装、バックテスト、戦略の凍結まで、LLMが定量リサーチの全工程を遂行できるかを評価する。最上位モデルも、封印された2024年の評価で等ウェイト市場を上回れなかった。

続きを読む
CCTest · Blog
合成データは本当に安全か?LLMの能力とプライバシーを再検討
AIセーフティ
cctest.ai
AIセーフティ

合成データは本当に安全か?LLMの能力とプライバシーを再検討

合成医療記録を用いた比較研究が、直接ファインチューニング、DP-SGD、プライバシー配慮型の書き換えを検証しました。固有性の高い個人情報を意図的に置き換える方法は、能力低下を抑えながら漏えいリスクを下げる可能性を示しています。

続きを読む
CCTest · Blog
FrontierCS 2、AIエージェントのコンピューター科学研究力を検証
モデル評価
cctest.ai
モデル評価

FrontierCS 2、AIエージェントのコンピューター科学研究力を検証

FrontierCS 2は、実際のコードリポジトリでパッチを改良し続ける環境を用いて、AIエージェントがコンピューター科学の研究開発を担えるかを評価する。結果は、最先端のエージェントでさえ安定した研究遂行には届かないことを示した。

続きを読む
CCTest · Blog
MMedAgent-Plus、18の専門モデルを連携させる医療マルチモーダルエージェント
AIエージェント
cctest.ai
AIエージェント

MMedAgent-Plus、18の専門モデルを連携させる医療マルチモーダルエージェント

MMedAgent-Plusは、視覚言語プランナーから18の医療専門モデルを呼び出し、12種類のタスクと8つのモダリティを扱う。研究の焦点は、単独の認識精度ではなく、複数の分析を正しく組み合わせて根拠のある回答を生成できるかにある。

続きを読む
CCTest · Blog
WildAWM、実行可能な合成世界で汎用コンピューター操作エージェントを訓練
AIエージェント
cctest.ai
AIエージェント

WildAWM、実行可能な合成世界で汎用コンピューター操作エージェントを訓練

WildAWM は、GUI、MCP サービス、コマンドラインを一つの状態空間で扱えるコンピューター環境と長期タスクを合成するパイプラインです。合成世界だけで訓練した Qwen モデルが、未見の複数ベンチマークで改善を示しました。

続きを読む
CCTest · Blog
AKV、履歴を書き換えずにエージェントのKVキャッシュを管理
推論・デプロイ
cctest.ai
推論・デプロイ

AKV、履歴を書き換えずにエージェントのKVキャッシュを管理

長時間動作するLLMエージェントでは、モデル計算そのものよりKVキャッシュの保存や転送が大きな負担になることがあります。AKVは、軌跡を変更せず、再プリフィルも行わずに、利用中のキャッシュを直接制御する仕組みを提案します。

続きを読む