CCTest · Blog
RAGのインデックス拡張で回答が変わる理由
モデル評価
cctest.ai
モデル評価

RAGのインデックス拡張で回答が変わる理由

モデルやプロンプト、検索設定を固定しても、検索インデックスを拡張すると同じ質問への回答が変わる可能性がある。新しい研究は、通常の生成揺らぎとインデックス更新による変化を分離する「スナップショット互換性監査」を提案した。

続きを読む
CCTest · Blog
一度の成功は信頼性ではない:Thinkingboxで業務エージェントを評価する
モデル評価
cctest.ai
モデル評価

一度の成功は信頼性ではない:Thinkingboxで業務エージェントを評価する

Thinkingboxは、妥当な返答やツール呼び出しだけでなく、業務ワークフロー終了時のバックエンド状態まで検証するサンドボックスです。ベンチマークは、偶然の成功と安定した実行能力の間に大きな差があることを示します。

続きを読む
CCTest · Blog
AutoResearch:自動化だけでなく、証拠に基づくAI研究へ
AI科学研究
cctest.ai
AI科学研究

AutoResearch:自動化だけでなく、証拠に基づくAI研究へ

AutoResearchは、研究アイデアの生成と実験による検証をつなぐ2段階の自律研究システムです。複数モデルによる相互レビューや実験診断、独立した証拠審査によって、信頼できない結論の削減を目指します。

続きを読む
CCTest · Blog
RIBOSPAN、全長RNAを扱うネイティブ長文脈モデルを提案
AI科学研究
cctest.ai
AI科学研究

RIBOSPAN、全長RNAを扱うネイティブ長文脈モデルを提案

RIBOSPANは、最大10,240ヌクレオチドの文脈で事前学習した16.1億パラメータの双方向RNA基盤モデルです。短い文脈のモデルを推論時に拡張する方法と比べ、全長転写産物の表現学習で有利な特性が示されました。

続きを読む
CCTest · Blog
ReWorld、インタラクティブ世界モデルに長期記憶を実装
世界モデル
cctest.ai
世界モデル

ReWorld、インタラクティブ世界モデルに長期記憶を実装

ReWorldは、短期的な行動制御と長期的なシーン記憶を学習時に分離し、推論時には容量を制限したKVキャッシュとカメラ姿勢に基づくランドマーク検索を組み合わせます。無限に増える文脈を避けながら、再訪した場所の情報を呼び戻す設計です。

続きを読む
CCTest · Blog
GameXpert-Bench:ゲーム生成から本格開発までを測る
モデル評価
cctest.ai
モデル評価

GameXpert-Bench:ゲーム生成から本格開発までを測る

GameXpert-Benchは、コーディングエージェントのゲーム開発能力を、生成・バグ修正・多段階最適化の全工程で評価する。エージェントは遊べる土台の構築には強い一方、能動的な不具合発見や実行時検証、回帰の防止には課題を残す。

続きを読む
CCTest · Blog
4ビットLLMをどう「修復」するか:QATの課題を避けるQAH
推論・デプロイ
cctest.ai
推論・デプロイ

4ビットLLMをどう「修復」するか:QATの課題を避けるQAH

構造的圧縮と4ビット量子化を重ねると、推論や数学、コーディング、長文脈の性能が低下しやすい。Multiverse Computingは、元の非圧縮モデルから直接蒸留するQuantization-Aware Healing(QAH)を提案した。

続きを読む
CCTest · Blog
MobilePA-Bench、複雑な実タスクでモバイルエージェントを評価
モデル評価
cctest.ai
モデル評価

MobilePA-Bench、複雑な実タスクでモバイルエージェントを評価

MobilePA-Benchは、画面操作だけでなく、ツール呼び出し、長期計画、メモリ、スキル、サブエージェント協調を評価するインタラクティブなベンチマークです。権限制限や実行時エラーが加わると、最先端LLMの信頼性が大きく低下することを示します。

続きを読む
CCTest · Blog
TileMix、ハードウェアタイル単位でLLM注意機構の精度を切り替え
推論・デプロイ
cctest.ai
推論・デプロイ

TileMix、ハードウェアタイル単位でLLM注意機構の精度を切り替え

TileMixは、融合された密な注意機構カーネルの中で、スコアタイルごとにFP16とINT8を使い分けます。トークン間の接続を削らず、長文脈プリフィルの精度とスループットの両立を目指します。

続きを読む
CCTest · Blog
検索性能が上がるほど頑健性が下がる:マルチホップRAGとASR誤り
RAG・検索
cctest.ai
RAG・検索

検索性能が上がるほど頑健性が下がる:マルチホップRAGとASR誤り

音声によるマルチホップ質問応答では、より高度な検索構造が絶対的な性能を高める一方、上流の音声認識誤りを増幅する可能性がある。特に、質問中のエンティティの誤認識が大きな失敗要因となっている。

続きを読む
CCTest · Blog
Prime Agent:長期稼働するAIエージェントのための永続ランタイム
AIエージェント
cctest.ai
AIエージェント

Prime Agent:長期稼働するAIエージェントのための永続ランタイム

Prime Agentは、長期タスクの評価とコーディングエージェントの運用を対象とするオープンソースのハーネスです。永続REPL、軌跡をまたぐ記憶、再帰的サブエージェント、復旧機能を組み合わせ、モデルの失敗と基盤の失敗を切り分けます。

続きを読む
CCTest · Blog
WorldToken、時間を軸にロボット模倣学習を組み立てる
ロボティクス・フィジカルAI
cctest.ai

WorldToken、時間を軸にロボット模倣学習を組み立てる

WorldTokenは、各時刻のマルチビュー画像、固有感覚、タスク条件を1つのワールドトークンに統合し、時間方向の系列として処理する手法です。実験では、対象領域のデータ量と長い履歴コンテキストの重要性が示されました。

続きを読む
CCTest · Blog
ClawProBench:AIエージェントを実行過程から評価する
モデル評価
cctest.ai
モデル評価

ClawProBench:AIエージェントを実行過程から評価する

ClawProBenchは最終回答だけでなく、証拠の取得、ランタイムへのルーティング、安全境界、反復実行の安定性まで評価する。結果は、ネイティブなランタイム作業の難しさと、一度の成功では信頼性を測れないことを示した。

続きを読む
CCTest · Blog
生成からシミュレーションへ:世界モデルは本当のシミュレーターにどこまで近づいたか
世界モデル
cctest.ai
世界モデル

生成からシミュレーションへ:世界モデルは本当のシミュレーターにどこまで近づいたか

従来型シミュレーターの八つの能力を基準に、世界モデルの到達点と課題を整理した調査が発表された。相互作用と制御では進展が見られる一方、物理法則の保証、状態フィードバック、長期的な再現性には大きな隔たりが残る。

続きを読む
CCTest · Blog
LongRCA Bench、長期エージェントの失敗を「誰が」「いつ」起こしたかで診断
モデル評価
cctest.ai
モデル評価

LongRCA Bench、長期エージェントの失敗を「誰が」「いつ」起こしたかで診断

LongRCA Benchは、長期実行エージェントの失敗分析を、責任を負う役割の特定と、最も早い決定的な根本原因ステップの特定に分けて評価する。1,140件の実際の失敗軌跡を用い、訓練不要のRCTA手法も検証した。

続きを読む
CCTest · Blog
4ビットモデルがBF16版を上回る理由、QAHの仕組み
推論・デプロイ
cctest.ai
推論・デプロイ

4ビットモデルがBF16版を上回る理由、QAHの仕組み

Multiverse Computingは、構造圧縮と4ビット量子化を受けたモデルを、圧縮前の大規模モデルから直接蒸留するQAHを発表しました。GPT-OSSを使った実験では、60BのMXFP4モデルが9指標中7指標で同じ構成のBF16版を上回りました。

続きを読む