CCTest · Blog
NVIDIA Nemotron 3.5、指示で適応できる多言語音声モデル
音声・オーディオ
cctest.ai
音声・オーディオ

NVIDIA Nemotron 3.5、指示で適応できる多言語音声モデル

NVIDIAのNemotron 3.5 Transcribeは、文字起こし、話者識別、翻訳、音声質問応答を一つのオープンウェイトモデルに統合した。Granary v2とNeMo Speechを使えば、専門用語やアクセントに合わせた追加学習も可能になる。

続きを読む
CCTest · Blog
RSI Arena、AIエージェントによるモデル訓練と人間フィードバックの反復を検証
AIエージェント
cctest.ai
AIエージェント

RSI Arena、AIエージェントによるモデル訓練と人間フィードバックの反復を検証

RSI Arenaは、AIエージェントが言語モデルの追加学習を自律的に行い、人間の評価を使ってさらに改善できるかを調べた研究です。嗜好評価は改善した一方、ベンチマーク性能や安全性が同じように向上するとは限らないことが示されました。

続きを読む
CCTest · Blog
エージェントの記憶は本当に得なのか:「Memory Tax」研究を読む
メモリ・コンテキスト
cctest.ai

エージェントの記憶は本当に得なのか:「Memory Tax」研究を読む

長期稼働するエージェントに記憶機構を追加しても、元の履歴を直接検索する単純なRAGを上回るとは限りません。本研究は、記憶による利益と情報処理に伴う損失を分けて評価します。

続きを読む
CCTest · Blog
LLMエージェントの推論努力は高いほど良いのか
推論・デプロイ
cctest.ai
推論・デプロイ

LLMエージェントの推論努力は高いほど良いのか

推論努力の設定を比較した研究は、計算量を増やしても個々の問題で安定して性能が上がるとは限らないことを示した。低コストで開始し、検証済みの失敗時だけ段階的に増やす方法が、費用対効果で有力だ。

続きを読む
CCTest · Blog
RynnWorld-Latent、汎用潜在アクションで異なるロボットをつなぐ世界モデル
世界モデル
cctest.ai
世界モデル

RynnWorld-Latent、汎用潜在アクションで異なるロボットをつなぐ世界モデル

RynnWorld-Latentは、RynnLAMの3Dグラウンデッドな潜在アクションを共通インターフェースとして、人間動画、ロボット実演、シミュレーション軌跡を統合するビデオ世界モデルです。デジタル遠隔操作と潜在アクション合成によって、ロボット方策の学習データも生成します。

続きを読む
CCTest · Blog
Omni-InteractScopeが示すマルチモーダルAIの能動的対話の限界
モデル評価
cctest.ai
モデル評価

Omni-InteractScopeが示すマルチモーダルAIの能動的対話の限界

Omni-InteractScopeは、連続する視聴覚ストリームを監視しながら、マルチモーダルモデルが適切なタイミングで介入できるかを評価する。結果は、ツール利用、質問なしのリマインダー、継続的な案内に大きな課題が残ることを示した。

続きを読む
CCTest · Blog
小型オープンウェイトモデルは本当にコーディングを完遂できるのか
コーディングAI
cctest.ai
コーディングAI

小型オープンウェイトモデルは本当にコーディングを完遂できるのか

実際のコーディングエージェント運用を調べた回顧的研究は、自然な文章を生成できることと、動作するソフトウェアを納品できることは別だと示した。ツール呼び出し、出力契約、キャッシュ、独立検証が実用性を左右する。

続きを読む
CCTest · Blog
エージェントの検証を再考:独立レビューがもたらす効果
AIエージェント
cctest.ai
AIエージェント

エージェントの検証を再考:独立レビューがもたらす効果

ツールを使うAIエージェントの品質は、基盤モデルだけでなく、成果物をいつ、誰が、どのように検証するかにも左右されます。新しい研究は、独立した批評役が精度とコストのバランスで有力な選択肢になることを示しました。

続きを読む
CCTest · Blog
AgentProofBench、Webエージェントの再利用可能な検証器を評価
モデル評価
cctest.ai
モデル評価

AgentProofBench、Webエージェントの再利用可能な検証器を評価

AgentProofBenchは、固定された受理ルールの検証結果と、その後のWebエージェントの実行を結び付けるベンチマークです。検証器の誤りが、実際のタスク遂行にどのような影響を与えるかを測定できます。

続きを読む
CCTest · Blog
ツールが変わり続ける環境に、エージェントは追随できるか
モデル評価
cctest.ai
モデル評価

ツールが変わり続ける環境に、エージェントは追随できるか

Δτ-Benchは、固定されたツールセットではなく、継続的に変化するツールエコシステムの中でエージェントを評価する。最も高い性能を示したモデルまたはハーネスでも、タスク成功率は42.3%にとどまった。

続きを読む
CCTest · Blog
EmbodiedLab:実験を通じて「知る」能力を持つエージェントを評価
モデル評価
cctest.ai
モデル評価

EmbodiedLab:実験を通じて「知る」能力を持つエージェントを評価

EmbodiedLabは、指定された状態へ物体を動かすだけでなく、未知の結果を実験によって明らかにする具現化エージェントを評価する。エージェントは自ら手順を決め、装置を操作し、計測値から結論を導く必要がある。

続きを読む
CCTest · Blog
RoboJev、視覚言語モデルでロボット作業の成功を判定
ロボティクス・フィジカルAI
cctest.ai

RoboJev、視覚言語モデルでロボット作業の成功を判定

ロボットの操作動画には、作業の過程が記録されていても、最終的に成功したかどうかのラベルがない場合があります。RoboJev-27Bは、指示文と動画フレームから成功・失敗を推定するオープンウェイトの判定モデルです。

続きを読む
CCTest · Blog
StreamVibe:変化するユーザー意図を追跡する動画エージェント
AIエージェント
cctest.ai
AIエージェント

StreamVibe:変化するユーザー意図を追跡する動画エージェント

StreamVibeは、ユーザーが明示的に依頼していない意図を連続的な動画観察から推定し、適切なタイミングで支援する動画エージェントを目指す研究です。ベンチマーク、ストリーミング視覚言語モデル、階層型メモリを組み合わせています。

続きを読む
CCTest · Blog
AV-FABLE、長尺動画の音声・映像改変を二つの時間軸で特定
視覚・動画
cctest.ai
視覚・動画

AV-FABLE、長尺動画の音声・映像改変を二つの時間軸で特定

AV-FABLEは、ほぼ本物の長尺動画に短時間だけ混入する音声・映像改変を、モダリティ別に特定するためのベンチマークです。NFSRは音声と映像を別々の時間デコーダーで読み出し、マルチモーダルモデルの内部表現に含まれるフォレンジック情報を活用します。

続きを読む
CCTest · Blog
InteractiveWorld、マルチモーダルAI助手の人間支援能力を検証
モデル評価
cctest.ai
モデル評価

InteractiveWorld、マルチモーダルAI助手の人間支援能力を検証

InteractiveWorldは、ウェアラブルAI助手と人間の閉ループ協働を検証する、人間中心のシミュレーション環境です。付属ベンチマークは、現在のマルチモーダルモデルが長期的な指示でなお苦戦していることを示します。

続きを読む