記事とガイド

拡散モデル

Claude API 中継局のガイド、検出の仕組み、LLM API の実測ノウハウ

全 28 件の記事

CCTest · Blog
GroundAnything、拡散型並列デコードで視覚グラウンディングを高速化
拡散モデル
cctest.ai
拡散モデル

GroundAnything、拡散型並列デコードで視覚グラウンディングを高速化

GroundAnythingは、視覚グラウンディングを左から右へ生成するタスクではなく、視覚的証拠の共同抽出として捉え直す。4Bモデルで双方向拡散を使い、最大4.51倍の高速化を検証した。

続きを読む
CCTest · Blog
SoloQ、拡散言語モデル向けのキャリブレーション不要量子化を提案
拡散モデル
cctest.ai
拡散モデル

SoloQ、拡散言語モデル向けのキャリブレーション不要量子化を提案

SoloQ は、拡散言語モデルの重みと活性値をキャリブレーションデータなしで低ビット量子化するフレームワークです。構造化回転、再スケーリング、KV キャッシュ圧縮を組み合わせ、4ビットおよび NVFP4 での効率的な推論を目指します。

続きを読む
CCTest · Blog
MC-Sparse、拡散Transformerの疎注意と密注意の差を縮める
拡散モデル
cctest.ai
拡散モデル

MC-Sparse、拡散Transformerの疎注意と密注意の差を縮める

MC-Sparseは、長系列の拡散生成で疎注意が品質を損なう原因を分解し、KVトークンの細粒度選択とメタデータ再利用を組み合わせた学習不要の手法を提案する。動画と3D生成で、密注意に近い出力を保ちながらデノイズを高速化した。

続きを読む
CCTest · Blog
IDU、生成モデルの高速化と選択的なデータ忘却を統合
拡散モデル
cctest.ai
拡散モデル

IDU、生成モデルの高速化と選択的なデータ忘却を統合

Inverse Distillation Unlearning(IDU)は、拡散モデルやフローマッチングモデルを1ステップ生成器へ蒸留しながら、指定した学習データの生成を抑制する手法です。完全データで学習した教師モデルと忘却対象のサンプルだけで利用できます。

続きを読む
CCTest · Blog
ALoDLM、トークンごとに計算量を変える拡散言語モデル
拡散モデル
cctest.ai
拡散モデル

ALoDLM、トークンごとに計算量を変える拡散言語モデル

ALoDLMは、拡散言語モデルにトークン適応型の潜在再帰を導入します。確定しやすい位置は早く確定し、難しい位置だけを追加計算で精緻化することで、並列デコードを維持しながら品質向上を目指します。

続きを読む
CCTest · Blog
HC-DLM、並列拡散生成でトークン間の依存関係を維持
拡散モデル
cctest.ai
拡散モデル

HC-DLM、並列拡散生成でトークン間の依存関係を維持

HC-DLMは、離散トークンの読み出しと持続的な連続潜在状態を組み合わせ、並列デコードで失われやすい依存関係の維持を目指す手法です。論文では、数独、Countdown、LM1Bで同規模の拡散モデルベースラインを上回ったと報告しています。

続きを読む
CCTest · Blog
固定状態キャッシュがBlock Diffusionにもたらす長文脈性能
拡散モデル
cctest.ai
拡散モデル

固定状態キャッシュがBlock Diffusionにもたらす長文脈性能

3Bパラメータのblock diffusionを比較した研究で、状態空間型の系列ミキサーが正確でサイズ一定のキャッシュを実現できることが示された。長いコンテキストでは、Mambaが注意機構よりメモリ、遅延、スループットで大きく優位に立つ。

続きを読む
CCTest · Blog
LLaDA-Image:生成と編集を統合するオープンな画像モデル
拡散モデル
cctest.ai
拡散モデル

LLaDA-Image:生成と編集を統合するオープンな画像モデル

LLaDA-Imageは、ゼロから学習した6BパラメータのDiTと、凍結した視覚言語理解モジュールを組み合わせた画像生成・編集モデルです。蒸留版のTurboは推論を2〜4ステップに短縮し、重み・コード・学習レシピも公開されます。

続きを読む
CCTest · Blog
DiffusionGemma:離散拡散でLLMの逐次生成ボトルネックに挑む
拡散モデル
cctest.ai
拡散モデル

DiffusionGemma:離散拡散でLLMの逐次生成ボトルネックに挑む

DiffusionGemma は、テキストを1トークンずつ生成するのではなく、256トークンのブロックを並列に反復修正する実験的なオープンウェイト言語モデルです。Gemma 4 を微調整して作られ、速度と能力の新しいバランスを狙っています。

続きを読む
CCTest · Blog
視覚生成におけるテキスト条件のスケーリング則を探る
拡散モデル
cctest.ai
拡散モデル

視覚生成におけるテキスト条件のスケーリング則を探る

この論文は、画像生成におけるプロンプトの長さではなく、構造化された言語情報が拡散モデルの学習損失にどう関係するかを調べている。著者らはその知見を使い、構造化プロンプトと専用 prompter による生成性能の改善を試みた。

続きを読む
CCTest · Blog
Explorative Modeling、生成モデルに「探索」という第3のスケーリング軸を導入
拡散モデル
cctest.ai
拡散モデル

Explorative Modeling、生成モデルに「探索」という第3のスケーリング軸を導入

Explorative Modeling は、生成結果とデータの対応を複数探索し、最良の候補から学習する新しい生成モデリング手法です。論文は、探索量がパラメータ数・データ量に続く第3の事前学習スケーリング軸になり得ると主張しています。

続きを読む
CCTest · Blog
Chimera:長尺動画生成に向けたハイブリッド視覚拡散モデル
拡散モデル
cctest.ai
拡散モデル

Chimera:長尺動画生成に向けたハイブリッド視覚拡散モデル

Chimera は、高解像度画像や長尺動画の生成で問題になる全注意機構の計算コストを抑えるための、ハイブリッド型視覚拡散バックボーンです。KDA、MLA、短い畳み込み、疎な MoE、そして HeteroP というスケーリング手法を組み合わせています。

続きを読む
CCTest · Blog
ソニーの SPA、スペクトル事前分布で拡散モデルの Exposure Bias を軽減
拡散モデル
cctest.ai
拡散モデル

ソニーの SPA、スペクトル事前分布で拡散モデルの Exposure Bias を軽減

ソニーの研究チームは、拡散モデルとフローマッチングモデルの推論時誤差を周波数領域で補正する Spectral Alignment(SPA)を提案した。事前に学習したスペクトル先験を使い、中間予測のパワースペクトルを軽量に校正する。

続きを読む
CCTest · Blog
Mage-Flow:4B規模で画像生成と編集を担うネイティブ解像度モデル
拡散モデル
cctest.ai
拡散モデル

Mage-Flow:4B規模で画像生成と編集を担うネイティブ解像度モデル

Mage-Flow は、画像生成モデルの競争力を単純な巨大化ではなく、トークナイザー、バックボーン、学習システムの共同設計で高めようとする取り組みだ。4B規模でテキスト画像生成と指示ベース編集の両方を扱う。

続きを読む
CCTest · Blog
DiTの「無用」に見えるテンプレートトークンが意味を保持する
拡散モデル
cctest.ai
拡散モデル

DiTの「無用」に見えるテンプレートトークンが意味を保持する

新しい研究は、文生画像 Diffusion Transformer における構造的なテキストテンプレートトークンが、単なる飾りではないことを示した。生成中に物体の同一性を保つ暗黙的な意味レジスタとして働くという。

続きを読む
CCTest · Blog
DiFA:拡散モデル推論を「数値積分」から「状態推定」へ捉え直す
拡散モデル
cctest.ai
拡散モデル

DiFA:拡散モデル推論を「数値積分」から「状態推定」へ捉え直す

DiFA は、拡散モデルの推論時に得られる過去の予測を相関のある観測として扱う、再学習不要のフレームワークです。前向き拡散過程に沿った時間的コンセンサスにより、生成の安定性と細部表現の改善を狙います。

続きを読む