考え続けるだけでは足りない：小型推論モデルに「助けを求める」判断を教えるFlyBy

はじめに

推論モデルの性能を高める方法として、テスト時の計算量を増やす、つまりより長く考えさせる手法が広く使われている。特に小型推論モデルは提供コストが低いため、推論時間を増やすことで大型モデルに近づけられるなら実用上の魅力は大きい。しかし、KAIST AIの新しい研究は、重要な問いを投げかける。モデルに必要なのは本当に追加の思考時間なのか、それとも自らのパラメータに存在しない知識なのか。

研究チームは、二つのモデル系列と複数の規模を対象に、中間的な推論状態へ介入した。分析の結果、自己反省は現在の状態からすでに到達可能な解へ確率を集めることが多く、新たな解答経路を必ずしも生み出さないことが分かった。長い推論を否定する結論ではなく、どの場面で有効かを見極める必要性を示す結果である。

二つのボトルネック

論文では、小型推論モデルの失敗を次の二種類に分けている。

• 実行ボトルネック：正しい経路はモデルの能力範囲内にあるが、導出、検算、手順の選択で失敗する。自己反省によって正答へ戻れる可能性がある。
• 知識ボトルネック：必要な事実、概念、背景情報が不足している。さらにトークンを生成しても、欠けている情報を自動的に得られるとは限らない。関連する外部情報があれば、正しい経路が到達可能になる。

この区別は推論時の資源配分を変える。実行上のミスには内部計算を追加し、知識の欠落には、より強いモデルへの的を絞った問い合わせを使う方が合理的である。

FlyByの仕組み

この考え方に基づき、研究チームは選択的問い合わせフレームワークFlyByを提案した。小型モデルはまず自分で推論し、何が未解決なのかを診断する。知識ボトルネックと判断した場合のみ、自身を超えるパラメータ知識を持つ外部の強力なモデルへ問い合わせる。返された情報は、その後の推論に組み込まれる。

学習は二段階で行う。教師あり微調整によって、外部支援の深さを複数段階で選べる問い合わせアクションを作る。その後、コストを考慮した強化学習により、問い合わせるか、何を聞くか、どれだけコストをかけるかを調整する。強力なモデルを常時使うのではなく、小型モデルの能力を必要な時だけ拡張する設計である。

結果と意味

六つのベンチマークに含まれる1158問の高難度問題で、FlyBy-4Bはpass@8で45.96%を達成し、Qwen3-14Bの41.64%を上回った。報告された提供コストはQwen3-14Bの約2.7分の1である。pass@1でもFlyBy-4Bは16.85%となり、Qwen3-8Bの15.31%を上回った。8B版ではpass@8が51.81%まで向上した。

選択的問い合わせにも診断のオーバーヘッドがあり、外部モデルの回答を正しく解釈して統合する必要がある。それでもFlyByは、推論を単純に長くするのではなく、失敗の種類を見極めて計算資源と知識資源を振り分ける方法を示している。

コストに敏感な実運用では、これは重要な方向性になり得る。今後の推論最適化では、長く考える能力だけでなく、いつ継続し、いつ検証し、いつ質問し、いつ止めるかを判断する能力も問われるだろう。小型モデルの強みは、限られた能力をより賢く運用することから生まれる可能性がある。

出典：Hugging Face Daily Papers