When2Think：推論モデルに「いつ考えるか」を学習させる

大規模推論モデルでは、より長く考えさせることが性能向上の手段として広く使われている。しかし、推論時間を増やせば常に得をするわけではない。簡単な問題に長い思考を費やせば計算資源の無駄になり、逆に難しい問題で早く打ち切れば正答率が下がる可能性がある。Microsoftの研究チームが提案したWhen2Thinkは、この不均衡を問題ごとの計算配分として捉え直す。

一律の短縮から難易度に応じた制御へ

既存の効率化手法には、すべての回答に同じ長さペナルティをかける方法や、固定的なルールで処理先を分ける方法がある。これらは簡単な入力の計算量を抑えられる一方、難しい入力に必要な推論まで削るおそれがある。When2Thinkは、問題ごとに直接回答するか、長い推論を実行するかをモデル自身が学習することを目指す。論文では、前者をSystem 1（NoThink）、後者をSystem 2（Think）として整理している。

中心となるのが、インスタンス単位の難易度認識制御、IDACである。IDACは、事前に計算した各インスタンスの正解率やtoken使用量といった統計を利用し、学習時の報酬を調整する。単に出力を短くするのではなく、追加の推論があまり役立たない問題では効率を促し、深い計算が必要な問題では推論を維持する方向に学習を導く仕組みだ。

追加の報酬モデルに頼らない設計

IDACは、検証器ベースの報酬と、バッチ単位で標準化したアドバンテージと組み合わせられる。論文概要によれば、この構成は学習済みの報酬モデルや、学習中のオンライン参照モデル問い合わせを必要とせず、安定したcritic-free最適化を可能にする。推論深度の選択と、後学習の複雑さを同時に扱おうとしている点が特徴だ。

報告された結果と今後の論点

数学ベンチマークでは、精度と効率のトレードオフが改善された。ベースモデルと比べ、AIME24ではPass@3が10.0%向上し、token使用量は27.9%減少した。AIME25ではPass@3が40.0%となり、論文で比較された圧縮のみ、またはルーティングのみのベースラインを上回った。

この結果は、すべての回答を一律に短くするよりも、計算を使うべき場所を選ぶことが重要だと示唆する。ただし、提供された素材が示しているのは主に数学ベンチマークと手法の概要であり、他分野への汎化、詳細なコスト分析、難易度判定の頑健性までは明らかになっていない。したがって、実運用での適用範囲は追加検証が必要だ。それでもWhen2Thinkは、「考えるか」と「どれだけ考えるか」を一体の適応制御問題として学習する方向性を示している。

出典：Hugging Face Daily Papers