制約付きデコーディングはLLMの推論を損なうのか

導入

制約付きデコーディングは、構造化出力、ツール呼び出し、自動評価などで広く使われています。文法やスキーマに反するトークンを生成時に除外することで、後段のシステムが解析しやすい出力を得られるためです。一方で、候補を早い段階で削ることから、複雑な推論経路まで失わせるのではないかという懸念もあります。

論文「Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance」は、この前提を改めて検証しました。重要なのは、制約付きデコーディングを一つの技術として一括りにしないことです。制約が取り除く対象によって、結果は大きく変わります。

三種類の制約

研究では、制約を次のように整理しています。

• 形式制約：決められた構造、構文、回答形式を守らせます。主な目的は機械可読性であり、意味的推論を直接制限するとは限りません。
• 妥当性制約：タスクの定義上、無効な回答を候補から除外します。利用不能な出力を減らし、信頼性と抽出しやすさを高めます。
• 推論制約：問題解決時に選べる推論経路を制限します。有益な経路まで削れば逆効果ですが、誤った経路や不要な探索を除ける場合は有効です。

理論的には、探索空間を狭めること自体が性能低下を意味するわけではありません。除外される経路が無効なものであれば、残った候補に確率を集中させられます。問題は、価値のある経路を誤って削っていないかどうかです。

実験が示したこと

著者らは、四つのモデルファミリー、十一のオープンソースモデル、多様なベンチマークを対象に因果的なアブレーションを行い、複数の先進的な制約付きデコーディング手法を比較しました。

そこで明らかになったのは、制約によるものと見なされていた性能低下の多くが、実はプロンプトや出力形式の不一致から生じている可能性です。制約を加えると同時に指示文、回答空間、評価方法まで変えれば、デコーダーのマスクだけを比較したことにはなりません。

妥当性制約には、より明確な実用上の利点があります。モデルがタスク外の回答や形式上利用できない回答を出しにくくなるためです。推論制約の効果は設計次第で、無差別な制限は危険ですが、有益な経路を保つ制約なら推論と最終精度を高める可能性があります。

意義

本研究は、制約を強くすればよいと主張しているわけではありません。形式、回答の妥当性、推論過程を分けて設計し、比較時にはプロンプト、出力要件、評価条件を等価にする必要があると示しています。

実運用では、形式制約は解析可能性を、妥当性制約は回答の信頼性を、推論制約は探索の方向づけを担います。制約付きデコーディングを単純な性能スイッチと見るのではなく、どの経路を残し、どの経路を安全に除外するかを管理する仕組みとして捉えることが重要です。

出典：Hugging Face Daily Papers