CCTest · Blog
安全ベンチマークが測るのは能力か、それとも学習した方針か
AIセーフティ
cctest.ai
AIセーフティ

安全ベンチマークが測るのは能力か、それとも学習した方針か

ガードレール分類器の安全スコアは、危険性をどれだけ検出できるかだけでなく、学習ラベルに埋め込まれた運用方針に大きく左右される可能性がある。研究では、わずかなパラメータ変更や教師モデルのソフトラベルでも評価結果が大きく変化した。

続きを読む
CCTest · Blog
CoPE、行動と予測を同時に学ぶ言語エージェント訓練法
AIエージェント
cctest.ai
AIエージェント

CoPE、行動と予測を同時に学ぶ言語エージェント訓練法

CoPEは、言語エージェントの強化学習に複数ステップの行動予測を導入し、最終報酬だけでなく成功軌跡の途中にある情報も学習に利用します。5つのベンチマークでGRPOなどの手法と比較され、サンプル効率は一部のベースラインに対して最大でおよそ2倍に達しました。

続きを読む
CCTest · Blog
HandsOn、器用なロボット操作の汎化能力を大規模に検証
ロボティクス・フィジカルAI
cctest.ai

HandsOn、器用なロボット操作の汎化能力を大規模に検証

HandsOnは、ロボット本体や物体、空間関係、タスク要求をまたいだ器用な操作の汎化を評価する、構成可能なシミュレーション基盤とベンチマークです。実験結果は、接触の確立や複数の指の協調、未知タスクへの転移が依然として難しいことを示しています。

続きを読む
CCTest · Blog
表現の解読から潜在世界の理解へ:JEPA解釈可能性の新しい道筋
世界モデル
cctest.ai
世界モデル

表現の解読から潜在世界の理解へ:JEPA解釈可能性の新しい道筋

JEPAは表現学習から、予測・計画・制御を担う潜在世界モデルへと発展しつつある。一方、その内部状態には人間が直接理解できるインターフェースがないため、解釈可能性の対象を表現の内容から潜在変数の働きへ広げる必要がある。

続きを読む
CCTest · Blog
HERA、AIエージェントに「行動しない判断」を学習させる
AIエージェント
cctest.ai
AIエージェント

HERA、AIエージェントに「行動しない判断」を学習させる

HERAは、エージェントの実行ハーネスと環境を共進化させ、解ける課題と解が存在しない課題を見分ける仕組みを提案する。拒否判断の精度を高めながら、実行可能な課題の完了率も改善した。

続きを読む
CCTest · Blog
エッジエージェントとクラウドの協調:実行全体を制御する新しい設計
AIエージェント
cctest.ai
AIエージェント

エッジエージェントとクラウドの協調:実行全体を制御する新しい設計

新研究は、長期タスクを実行する LLM エージェント向けに EC2-Bench を提案し、性能・資源利用・プライバシー露出を一体で評価した。エッジモデルが強くなるほど、クラウドに実行を任せる方式から、エッジが判断しクラウドが助言する方式へ移行する。

続きを読む
CCTest · Blog
集合単位の強化学習で、AIはより多様な科学研究案を生み出せるか
AI科学研究
cctest.ai
AI科学研究

集合単位の強化学習で、AIはより多様な科学研究案を生み出せるか

科学的アイデアを一つずつ評価するのではなく、複数案の組み合わせとして最適化する研究が提案された。8Bモデルは、品質と多様性を両立する指標で高い性能を示し、実行可能性も大きく損なわなかった。

続きを読む
CCTest · Blog
OR-License、実務の業務資料から運用可能な最適化を作れるかLLMエージェントを評価
モデル評価
cctest.ai
モデル評価

OR-License、実務の業務資料から運用可能な最適化を作れるかLLMエージェントを評価

OR-Licenseは、実際の顧客資料を出発点に、LLMエージェントが運用研究の解決策を最後まで納品できるかを評価するベンチマークです。条件付きの目的関数では高い結果が出ても、実行可能性を含む総合的な信頼性には専門家との差が残りました。

続きを読む
CCTest · Blog
AdaExploreBench、変化する環境でLLMエージェントの探索と適応を評価
モデル評価
cctest.ai
モデル評価

AdaExploreBench、変化する環境でLLMエージェントの探索と適応を評価

AdaExploreBenchは、LLMエージェントが隠れた環境ルールを自ら調べ、必要な証拠を集め、ルールの変化に気づけるかを評価する。結果からは、与えられた情報を推論する能力に比べ、情報を能動的に獲得する能力の弱さが浮かび上がった。

続きを読む
CCTest · Blog
BlenderWorld、視覚エージェントの3D制作能力を現実的に評価
モデル評価
cctest.ai
モデル評価

BlenderWorld、視覚エージェントの3D制作能力を現実的に評価

BlenderWorldは、現実の参照資料をもとに3Dコンテンツを制作する視覚エージェント向けのベンチマークです。最先端モデルは大まかな指示を理解できる一方、空間の整合性や構造の再現、編集可能なBlenderプロジェクトの完成には依然として課題を残しています。

続きを読む
CCTest · Blog
MARS、テキストの拒否方向でマルチモーダルモデルの安全性を制御
AIセーフティ
cctest.ai
AIセーフティ

MARS、テキストの拒否方向でマルチモーダルモデルの安全性を制御

新たな研究は、言語モデルから抽出した拒否に関する内部表現が、テキストだけでなく画像や動画にも適用できる可能性を示した。MARSは、マルチモーダル安全データや追加学習を使わずに、この性質を安全制御へ応用する。

続きを読む
CCTest · Blog
ロボット群が経験を共有、実運用から方策を継続改善
ロボティクス・フィジカルAI
cctest.ai

ロボット群が経験を共有、実運用から方策を継続改善

新たな研究は、配備中のロボットが実行経験を共有し、失敗した状況に関連する成功軌跡から行動を検索する学習枠組みを提案した。追加の専門家による修正操作を集めずに、操作方策の信頼性向上を目指す。

続きを読む
CCTest · Blog
OpenVLHarness、視覚モデルに再利用可能な証拠と記憶を与える
マルチモーダル
cctest.ai
マルチモーダル

OpenVLHarness、視覚モデルに再利用可能な証拠と記憶を与える

OpenVLHarnessは、マルチモーダルモデルに視覚ツール、ウェブ検索、Python計算を接続する、追加学習不要の推論基盤です。ツールが取得した画像やデータを推論中に保持し、後続のステップで再利用できるようにします。

続きを読む
CCTest · Blog
Self-HPO、コーディングエージェントのHarnessと方策を同時に進化
コーディングAI
cctest.ai
コーディングAI

Self-HPO、コーディングエージェントのHarnessと方策を同時に進化

Self-HPOは、エージェント自身に失敗を分析させてHarness候補を提案させ、その環境で方策モデルを強化学習する循環型フレームワークです。3つのコードベンチマークで、Qwen3.5-35B-A3Bの平均解決率を57.8%から64.8%へ引き上げました。

続きを読む
CCTest · Blog
AffordanceWAM:人間動画をロボット操作につなぐ共有インターフェース
ロボティクス・フィジカルAI
cctest.ai

AffordanceWAM:人間動画をロボット操作につなぐ共有インターフェース

AffordanceWAMは、人間動画から物体、操作可能な領域、シーンの変化を学習し、限られたロボット軌跡と組み合わせて操作行動を生成するモデルです。人間動画の行動ラベルやモーションリターゲティングを必要としません。

続きを読む
CCTest · Blog
Frechet Forcing:短い動画から長期安定する世界モデルを学習
世界モデル
cctest.ai
世界モデル

Frechet Forcing:短い動画から長期安定する世界モデルを学習

ストリーミング型の世界モデルは、自らの予測を次の入力に使うため、長いロールアウトで誤差が蓄積しやすい。Frechet Forcingは教師モデルや長時間動画を使わず、実データの統計と自己生成履歴によってシーンの一貫性を保つ。

続きを読む
CCTest · Blog
世界モデルに「先にルール、後に映像」を実行させるStateful Harness
世界モデル
cctest.ai
世界モデル

世界モデルに「先にルール、後に映像」を実行させるStateful Harness

清華大学の研究チームは、インタラクティブな世界モデルにおける状態更新と動画レンダリングを分離するStateful Harnessを提案しました。WorldState-Benchでは、同じ動画モデルを使ったまま、対になったケースの正解率を92%まで高めています。

続きを読む
CCTest · Blog
言語事前学習なしで画像生成を学ぶHalcyon
マルチモーダル
cctest.ai
マルチモーダル

言語事前学習なしで画像生成を学ぶHalcyon

スタンフォード大学の研究チームは、1億組の画像・テキスト対からゼロから学習する早期融合型マルチモーダル自己回帰モデルHalcyonを提案した。実験は、強力なテキスト・画像生成に大規模な言語事前学習が必須とは限らないことを示している。

続きを読む