CCTest · Blog
ALoDLM、トークンごとに計算量を変える拡散言語モデル
拡散モデル
cctest.ai
拡散モデル

ALoDLM、トークンごとに計算量を変える拡散言語モデル

ALoDLMは、拡散言語モデルにトークン適応型の潜在再帰を導入します。確定しやすい位置は早く確定し、難しい位置だけを追加計算で精緻化することで、並列デコードを維持しながら品質向上を目指します。

続きを読む
CCTest · Blog
MemAdapter:反実仮想適応で長期記憶による迎合を抑える
メモリ・コンテキスト
cctest.ai

MemAdapter:反実仮想適応で長期記憶による迎合を抑える

長期記憶はLLMエージェントの個人化を高める一方、ユーザーの過去の考えに過度に同調させることがあります。MemAdapterは、現在の文脈に応じて記憶の影響度を動的に調整します。

続きを読む
CCTest · Blog
プロアクティブエージェントに必要なのは正確さだけではない
AIエージェント
cctest.ai
AIエージェント

プロアクティブエージェントに必要なのは正確さだけではない

プロアクティブな LLM エージェントは、ユーザーが依頼する前に計算資源を使って支援を準備する。新たな研究は、タスク能力、時間配分、信頼を 3T 原則として整理し、長期的な影響を評価する Proactivity-Gym を提案した。

続きを読む
CCTest · Blog
言語モデルが分子最適化器を改良、力計算を削減する AutoSella
AI科学研究
cctest.ai
AI科学研究

言語モデルが分子最適化器を改良、力計算を削減する AutoSella

研究チームは、言語モデルのエージェントに分子構造最適化器 Sella を書き換えさせ、早すぎる停止や過学習を防ぐ評価ゲートで候補を選別しました。生成された AutoSella は、未知の分子や DFT テストでも力評価の回数を削減しました。

続きを読む
CCTest · Blog
IDU、生成モデルの高速化と選択的なデータ忘却を統合
拡散モデル
cctest.ai
拡散モデル

IDU、生成モデルの高速化と選択的なデータ忘却を統合

Inverse Distillation Unlearning(IDU)は、拡散モデルやフローマッチングモデルを1ステップ生成器へ蒸留しながら、指定した学習データの生成を抑制する手法です。完全データで学習した教師モデルと忘却対象のサンプルだけで利用できます。

続きを読む
CCTest · Blog
ASCENT、長期タスク型エージェントの配備中学習を実現
AIエージェント
cctest.ai
AIエージェント

ASCENT、長期タスク型エージェントの配備中学習を実現

ASCENTは、単一の実行軌跡をそのまま模倣するのではなく、検証済みの経験を自己蒸留するオンライン学習手法を提案する。ALFWorldとWebShopで成功率を高め、1エピソード当たりのターン数も削減した。

続きを読む
CCTest · Blog
LoGRA、低ランク勾配スケッチでLLM強化学習のメモリ障壁を下げる
強化学習
cctest.ai
強化学習

LoGRA、低ランク勾配スケッチでLLM強化学習のメモリ障壁を下げる

LoGRAは、LLMの強化学習で有用な勾配信号を低ランクのスケッチとして保持し、予測KLによるステップ制御を組み合わせる手法です。論文要約では、推論タスクで平均学習メモリを最大45.7%削減したと報告されています。

続きを読む
CCTest · Blog
UndoBench:AIエージェントは完了率だけでなく復旧能力を評価すべき
モデル評価
cctest.ai
モデル評価

UndoBench:AIエージェントは完了率だけでなく復旧能力を評価すべき

UndoBenchは、ツールを使うAIエージェントの通常時のタスク遂行能力と、障害発生後の安全な復旧能力を切り分けて測定する。実験では、タスクを完了できても重複した外部操作を防げないケースが明らかになった。

続きを読む
CCTest · Blog
LLMの数学推論で欠けているのは計算より「発見」かもしれない
モデル評価
cctest.ai
モデル評価

LLMの数学推論で欠けているのは計算より「発見」かもしれない

新しい研究は、大規模言語モデルの数学推論を、発見・生成・理解・実行の4段階に分けて分析する。最終的な正答率だけでは能力差を捉えきれないと指摘し、数学的プリミティブを用いた修正手法も提案した。

続きを読む
CCTest · Blog
モデルが自分の出力から学ぶと、なぜ不安定になるのか
モデル評価
cctest.ai
モデル評価

モデルが自分の出力から学ぶと、なぜ不安定になるのか

テスト時学習でモデル自身の生成文から得た更新を長時間保持すると、独立した人間の文章への予測性能が低下することが示された。更新を確定する前に、独立データで検証する仕組みが有効な対策となる。

続きを読む
CCTest · Blog
数個の冒頭トークンが基盤モデルの推論を引き出す理由
大規模言語モデル
cctest.ai
大規模言語モデル

数個の冒頭トークンが基盤モデルの推論を引き出す理由

新たな研究は、モデルの回答冒頭に現れるトークンが、その後の推論行動を方向づけることを示した。特定の冒頭を固定するだけで、基盤モデルの数学・コーディング性能が強化学習モデルに近づく場合がある。

続きを読む
CCTest · Blog
Periscope、凍結言語モデルのコンテキスト窓を超えた読解を可能に
メモリ・コンテキスト
cctest.ai

Periscope、凍結言語モデルのコンテキスト窓を超えた読解を可能に

Periscopeは、学習やモデル改修を必要とせず、局所的な探査と文書全体を横断する探査を組み合わせる推論手法です。長文から答えと根拠を絞り込み、KVキャッシュの負担を抑えます。

続きを読む
CCTest · Blog
Kandinsky 6.0 Video、映像・音声・リップシンクを同時生成
マルチモーダル
cctest.ai
マルチモーダル

Kandinsky 6.0 Video、映像・音声・リップシンクを同時生成

Kandinsky 6.0 Videoは、テキストまたは画像から、44 kHz音声とリップシンクを備えた約5秒の動画を生成するモデル群です。動画ストリームと音声ストリームを双方向に接続するCrossDiTにより、映像と音の時間的・意味的な整合を狙います。

続きを読む
CCTest · Blog
OSWorld-Pro、コンピュータ操作エージェントを「結果」から「過程」で評価
モデル評価
cctest.ai
モデル評価

OSWorld-Pro、コンピュータ操作エージェントを「結果」から「過程」で評価

OSWorld-Pro は、最終状態だけでなく、連続するサブゴールごとにコンピュータ操作エージェントを評価する。クリックミスやキーボード入力の誤り、目的と無関係な操作を可視化できる。

続きを読む
CCTest · Blog
ディープフェイク検出が破綻するとき、画像の再構成性で真正性を認証する
モデル評価
cctest.ai
モデル評価

ディープフェイク検出が破綻するとき、画像の再構成性で真正性を認証する

新しい生成モデルや敵対的摂動によって、従来のディープフェイク検出器の信頼性は大きく低下します。研究チームは、既知の生成器が画像を忠実に再構成できるかを調べ、誤認証のリスクを校正する方法を提案しました。

続きを読む
CCTest · Blog
OmniConfess、多モーダルモデルが幻覚を生む根拠をトークン単位で追跡
マルチモーダル
cctest.ai
マルチモーダル

OmniConfess、多モーダルモデルが幻覚を生む根拠をトークン単位で追跡

OmniConfessは再学習を必要とせず、テキスト・画像・音声・動画の各証拠チャネルが回答のどのトークンを支えているかを調べ、信頼性の低い主張を修正する推論時手法です。

続きを読む
CCTest · Blog
RealtimeWAM:世界行動モデルを1ステップ・非同期推論へ
世界モデル
cctest.ai
世界モデル

RealtimeWAM:世界行動モデルを1ステップ・非同期推論へ

RealtimeWAMは、世界行動モデルにおける多段階の行動デノイズと、動画エキスパートと行動エキスパート間の待ち時間を同時に削減する。論文では、H100上で最大25倍のエンドツーエンド高速化と、1%未満の精度低下が報告されている。

続きを読む