CCTest · Blog
PISA-E、プロンプトとコストに応じたLLMアンサンブルを実現
推論・デプロイ
cctest.ai
推論・デプロイ

PISA-E、プロンプトとコストに応じたLLMアンサンブルを実現

PISAとPISA-Eは、すべての入力に単一モデルを割り当てる従来型のLLMルーティングを拡張します。プロンプトごとの能力推定を使い、呼び出すモデルとアンサンブルの規模を推論時に選択します。

続きを読む
CCTest · Blog
SparseRead:AIエージェントは「少なく読む」ことで多くを解ける
AIエージェント
cctest.ai
AIエージェント

SparseRead:AIエージェントは「少なく読む」ことで多くを解ける

AIエージェントは、必要な証拠が一部だけでも、ログや文書全体をコンテキストに取り込むことがあります。SparseReadは、意図の追跡と段階的な内容開示によって、モデルを変更せずに読解コストを抑えます。

続きを読む
CCTest · Blog
SteerDistill、低ビットLLMエージェントの失敗を閉ループで修正
AIエージェント
cctest.ai
AIエージェント

SteerDistill、低ビットLLMエージェントの失敗を閉ループで修正

SteerDistillは、全精度の教師モデルが量子化エージェントの失敗した応答を導き直し、環境からのフィードバックで修正を検証する手法です。検証済みの修正を学生モデルへ蒸留することで、推論時には教師や追加プロンプトなしで動作します。

続きを読む
CCTest · Blog
AIエージェントの記憶を鵜呑みにしない:WikiTraceが証拠をつなぐ
メモリ・コンテキスト
cctest.ai

AIエージェントの記憶を鵜呑みにしない:WikiTraceが証拠をつなぐ

外部記憶はLLMエージェントの経験学習を支える一方、誤った教訓や場違いな適用によって、記憶がない場合なら解ける課題まで失敗させることがあります。WikiTraceは教訓を元の実行軌跡と診断結果に結び付け、行動前の検証を可能にします。

続きを読む
CCTest · Blog
Embodied First Exam:コーディングエージェントのためのロボット入学試験
モデル評価
cctest.ai
モデル評価

Embodied First Exam:コーディングエージェントのためのロボット入学試験

Embodied First Examは、視覚運動ポリシーだけでなく、コーディングエージェントが自ら制御方法を選び、ロボットを動かせるかを評価するベンチマークです。456のコアタスクでは、8エージェント中の最高成績でも標準設定の成功率は34%でした。

続きを読む
CCTest · Blog
FINCOSMOS、金融AIエージェントの信頼性をオープン環境で検証
モデル評価
cctest.ai
モデル評価

FINCOSMOS、金融AIエージェントの信頼性をオープン環境で検証

金融レポートが整って見えても、ユーザーが求めていない戦略や検証不能なデータ、未来の情報を使ったバックテストが含まれている可能性があります。FINCOSMOSは、こうした見えにくい失敗を隠さずに測定する評価手法です。

続きを読む
CCTest · Blog
LLMの重みを0.05%未満削除するだけで後学習が可能に
大規模言語モデル
cctest.ai
大規模言語モデル

LLMの重みを0.05%未満削除するだけで後学習が可能に

新たな研究は、事前学習済みLLMの重みを0.05%未満ゼロ化するだけで、複数の後学習設定において全量ファインチューニングに匹敵する性能を得られると報告しました。更新データを大幅に小さくし、既存能力の忘却も抑えられる点が特徴です。

続きを読む
CCTest · Blog
PhyRubric、テキスト・動画生成の物理常識を診断可能に評価
モデル評価
cctest.ai
モデル評価

PhyRubric、テキスト・動画生成の物理常識を診断可能に評価

テキスト・動画生成モデルを「世界シミュレーター」として評価するには、映像が物理常識に従っているかを検証する必要があります。PhyRubricは、キャプション専用の評価基準、項目別判定、タイムスタンプ付き証拠によって、従来の主観的な総合点を診断的な評価へ置き換えます。

続きを読む
CCTest · Blog
科学エージェントは最終回答だけでは監査できない:証拠と実行状態を追跡する
AI科学研究
cctest.ai
AI科学研究

科学エージェントは最終回答だけでは監査できない:証拠と実行状態を追跡する

BioAgent-DF の研究は、同じ結論を返す科学エージェントでも、読んだり引用したりする証拠が異なり得ることを示した。さらに、静かな GPU 数値故障が、異常を検出されないまま薬物スクリーニングの判断を変える可能性も明らかにした。

続きを読む
CCTest · Blog
拡散言語モデルの推論を広げる頻度認識リマスキング
拡散モデル
cctest.ai
拡散モデル

拡散言語モデルの推論を広げる頻度認識リマスキング

拡散言語モデルのテスト時スケーリングに向け、単時点の確信度だけでなく、除去過程でトークン予測が何度変化したかを利用する手法が提案された。簡単な問題には高速サンプラーを使い、難しい問題に追加計算と探索的なリマスキングを割り当てる。

続きを読む
CCTest · Blog
Micius-Flash:半導体エンジニアリング向け27Bマルチモーダルエージェント
AIエージェント
cctest.ai
AIエージェント

Micius-Flash:半導体エンジニアリング向け27Bマルチモーダルエージェント

Micius-Flashは、半導体や科学工学の作業を想定した27Bのオープンなマルチモーダルモデルです。256KトークンのコンテキストとEDA、KiCad、実行環境を利用するHarnessにより、設計から検証までの反復的なワークフローを目指します。

続きを読む
CCTest · Blog
ロボットに「止まる判断」を与えるLEASH、行動ループに安全確認を組み込む
AIセーフティ
cctest.ai
AIセーフティ

ロボットに「止まる判断」を与えるLEASH、行動ループに安全確認を組み込む

基盤モデルで動くロボットでは、危険は指示を受けた瞬間だけでなく、計画や実行の途中にも発生します。RoboRiskはそのリスクを閉ループで評価し、LEASHは複数の安全ゲートで行動を再確認します。

続きを読む
CCTest · Blog
EVAThink:映像の証拠量に応じて考え方を切り替える動画モデル
視覚・動画
cctest.ai
視覚・動画

EVAThink:映像の証拠量に応じて考え方を切り替える動画モデル

EVAThinkは、利用できる映像証拠が十分かどうかに応じて、動画視覚言語モデルが直接回答と明示的推論を選べるようにする手法です。67万ではなく6700件の厳選サンプルで学習し、32フレームと64フレームの条件で改善を報告しています。

続きを読む
CCTest · Blog
ユナイテッド航空、AIエージェントによる航空券予約を認めず
AIエージェント
cctest.ai
AIエージェント

ユナイテッド航空、AIエージェントによる航空券予約を認めず

ユナイテッド航空は、個人向けAIアシスタントが同社の航空券を利用者に代わって購入することを現時点では認めない方針です。個人情報、意図しない購入、航空業界特有の確認義務が主な理由です。

続きを読む
CCTest · Blog
Gemini Decisions API、多モーダル判定を低遅延APIとして提供
フレームワーク・ツール
cctest.ai

Gemini Decisions API、多モーダル判定を低遅延APIとして提供

Googleが、モデルルーティングやポリシーチェック、コンテンツ評価向けのGemini Decisions APIを発表した。1つのマルチモーダル入力に対し、最大1000件の質問を一度に判定できる。

続きを読む
CCTest · Blog
ロボットを世界の中で学習させるRoboScript、重み更新なしで操作技能を適応
ロボティクス・フィジカルAI
cctest.ai

ロボットを世界の中で学習させるRoboScript、重み更新なしで操作技能を適応

RoboScriptは、凍結したモデルにシミュレーション内で操作タスクを反復練習させ、得られたフィードバックを重みではなくコンテキストへ保存する「World In-Context Learning」を提案します。RoboTwin 2.0の50タスクで、各タスク1回のデモンストレーションにより83.4%の平均成功率を報告しました。

続きを読む
CCTest · Blog
ProTEUS、タンパク質変異探索を閉ループ型ワールドモデルへ
世界モデル
cctest.ai
世界モデル

ProTEUS、タンパク質変異探索を閉ループ型ワールドモデルへ

ProTEUSは、配列・進化・構造情報を統合し、変異の機能的影響を予測しながら実験結果で次の設計を更新する。論文では、2つの閉ループ設計実験で野生型の10倍を超える活性を持つ変異体が得られたと報告している。

続きを読む
CCTest · Blog
EarthRecord、マルチモーダルエージェントの衛星画像解析を検証
モデル評価
cctest.ai
モデル評価

EarthRecord、マルチモーダルエージェントの衛星画像解析を検証

EarthRecordは、整理済みの画像ではなく、複数センサーによる数十年分の衛星記録を使い、マルチモーダルエージェントが実際の土地変化を分析できるかを評価する。多くの処理工程はこなせる一方、画素情報を現実の変化へ結び付ける段階には課題が残った。

続きを読む
CCTest · Blog
強化学習はなぜ規約違反の近道を学ぶのか
AIセーフティ
cctest.ai
AIセーフティ

強化学習はなぜ規約違反の近道を学ぶのか

新たな研究は、強化学習エージェントが実行条件に反する近道を選ぶ状況を、検証可能な「報酬・文脈の衝突」として構成しました。実行履歴に基づく単純なフィードバックで、能力を保ちながら遵守行動を改善できる可能性も示しています。

続きを読む