拡散言語モデルの速度はなぜ変わるのか――タスク・言語・正解性を分析

拡散言語モデルは、1回の前向き計算で複数のトークンを処理できる点から、自動回帰型モデルより効率的な生成方式として注目されている。ただし、複数トークンを同時に扱えるからといって、すべてのタスクが同じ速度で終わるわけではない。今回の研究は、生成コストがタスク、言語、そして回答の正しさによって大きく変わることを示した。

タスクによって変わる計算量

研究者は2種類の拡散モデルを10種類のタスクで調べ、出力トークン1個当たりに必要な前向き計算の回数を比較した。入力文のコピーや軽い文法修正のように、出力が入力から強く制約される作業は比較的安価だった。一方、物語の執筆のような自由度の高い生成では、候補を何度も調整する必要があり、コストが上昇した。DiffusionGemmaでは、物語生成の1トークン当たりの計算回数が文法修正の3倍を超えたという。

この差は、出力の長さだけでは説明できない。研究では、主に2つの性質が関係すると分析している。1つ目は、出力のうち入力に対してどれだけ新しい内容が含まれるか。2つ目は、そのタスク内で使われる語がどれほど珍しいかである。文脈からほぼ決まっている表現は早く確定できるが、新規性が高く、出現頻度の低い語を含む出力では、追加の計算が必要になりやすい。

推論過程と多言語生成

思考過程を含む回答でも同じ傾向が確認された。最終回答が推論トレースの内容をほぼ繰り返す場合は比較的安価だが、そこにない新しい結論や情報を追加すると、より多くの計算を要する。これは、拡散モデルのコストがプロンプトだけでなく、回答の各段階で残っている不確実性にも左右されることを示唆する。

多言語生成では、言語ごとのトークン化も重要になる。細かく分割されやすい言語は、同じ意味を表すためにより多くのトークンを必要とするだけでなく、1トークン当たりの前向き計算も増える傾向が見られた。そのため、言語によってはトークン数とデコード回数の両方でコストが積み上がる。

速度を回答選択に使う

実用面で注目されるのは、デコード速度と正答率の関係だ。同じ数学問題では、誤答のほうが正答より1トークン当たりの計算量を多く必要とした。そこで研究者は、候補回答を単純に多数決するのではなく、生成速度を使って重み付けした。その結果、追加の推論コストなしで、多数決を最大4.2ポイント上回った。

もちろん、速い回答が常に正しいとは限らない。速度は証明ではなく、候補の不確実性を推定するための信号である。また、今回の結果が他のモデルや分野にも同じように適用できるかは、今後の検証が必要だ。それでも、モデルがどれだけ計算したかを推論制御や候補選択に利用する考え方は、効率と信頼性を同時に高める手がかりになる。

意義

拡散言語モデルの計算上の優位性は、固定的な性能ではなく、出力が入力や既存の推論によってどれほど決まっているかに依存する。編集、校正、構造化生成では利点を生かしやすい一方、自由記述、珍しい語、多言語処理では実コストを慎重に見積もる必要がある。今後は、デコード速度を使った適応的な計算配分や回答の信頼度推定が、実運用で有効かどうかが焦点になる。

出典：Hugging Face Daily Papers