DoubtLess：小さなモデルで大規模推論モデルの思考を短縮

導入

推論モデルは長い思考連鎖によって難問への対応力を高めます。しかし、正しい答えに到達した後も、同じ計算を確認したり、結論を再検証したりして、必要以上にトークンを消費することがあります。DoubtLess は、この冗長な終盤を追加学習なしで短縮することを目指します。

手法の仕組み

DoubtLess は、推論時に利用するトレーニング不要の対照的デコーディングです。大型モデルがこれまでに生成した思考連鎖を、より小さな推論モデルが読み取り、次の2通りの予測を作ります。

• 簡潔に考えるよう指示された「brief thinker」
• より詳しく、冗長に考えるよう指示された「verbose thinker」

2つの予測から得られる logits の差を強度係数で調整し、各ステップで大型モデルの logits に加えます。固定の停止位置を設定したり、「wait」のような語を禁止したりする方法とは異なり、現在の文脈に応じた信号で生成を誘導する点が特徴です。素材によれば、小型モデルによる追加計算は全体の FLOPs の約4%です。

実験結果

Qwen3-0.6B で Qwen3-32B を誘導した実験では、競技数学、大学院レベルの科学、競技プログラミングを含む7つのベンチマークで、思考トークンを31%削減しました。報告された正確性は変わらず、5種類の推論時ベースラインを上回りました。

自己デバッグ型のコーディングエージェントでも、1ターンあたりの思考トークンを20%削減しながらタスク性能を維持しました。さらに、別の2つのモデルファミリーでも正確性を保ったまま一般化し、簡潔な推論を学習済みのモデルと組み合わせた場合には、追加の短縮も確認されています。

分析では、削減されたトークンの多くが、正解が最初に現れた後に生じる反復的な確認から来ていると示されています。つまり、必要な導出を一律に削るのではなく、答えがほぼ定まった後の余分な検証を抑える設計です。

意義と注意点

DoubtLess は、モデルのパラメータを変更せず、対象モデルごとの再学習も必要としない推論効率化の選択肢を示します。小型モデルを大型モデルの行動制御役として使うことで、既存の推論システムの提供コストを下げられる可能性があります。

一方、効果は補助モデルと対象モデルの組み合わせ、誘導強度、追加推論による遅延などに左右される可能性があります。完全で監査可能な推論過程が必要な用途では、短縮による可観測性への影響も別途検証すべきです。

DoubtLess の重要な点は、単純に早期停止するのではなく、正解に到達した後の不要な再確認を見分けて減らそうとすることです。

出典：Hugging Face Daily Papers