AGIへのスケーリングは、System-1がSystem-2に何を実行させるかで決まるのか

導入

AIの能力向上は、より大きなモデル、より多くのデータと計算資源、長い推論、複数エージェントの利用によって進められてきました。しかし、推論を長くし、実行するエージェントを増やすほど、運用時のコストも膨らみます。論文 Does Scaling Toward AGI Depend on What System-1 Lets System-2 Execute? は、System-2を単純に拡大するだけでなく、どの処理をSystem-2に実行させるかを設計する必要があるのではないかと問いかけます。

高コストな処理を先に選別する

この研究では、System-2を資源集約型の実行・推論機構として扱います。System-2は実際の推論、意思決定、ツール呼び出しなどを担当します。一方のSystem-1は、意味を考慮しながら候補インタラクションの価値を低コストで予測する評価器です。

提案される流れは、「予測—ゲート—実行—更新」のループです。

• 予測：各候補がどれほどの効用を生むか、またコストに見合うかを推定する。
• ゲート：適応的な閾値によって、実行に進める候補を選ぶ。
• 実行：選ばれた候補だけをSystem-2が処理する。
• 更新：実際の結果を使い、System-1の予測を改善する。

この枠組みは、学習時の処理、テスト時推論、適応的な意思決定、エージェントのツール利用などに適用できるとされています。ただし、何を「有用」とするかは用途によって異なります。ツール利用では、回答を変えたり不確実性を減らしたりする呼び出しが重要になり得ます。長い推論では、寄与が小さいと予測された中間ステップを省く可能性があります。

有用なインタラクションの密度

論文の中心概念は、有用なインタラクションの密度ρ_uです。これは、候補インタラクションのうち、タスクの効用に実際に関係するものの割合を示します。処理ごとのコストが異なる場合は、コストを考慮した密度を用います。

すべての実行コストが等しく、System-1の選別が理想的であれば、System-2が処理する計算量は、全候補を実行する場合と比べて、1/ρ_uに近い倍率で削減できると論じられています。ただし、これは理想条件での見通しです。System-1が価値のある候補を見落としたり、価値の低い候補を通したりすれば、節約効果は小さくなります。探索のためにあえて不確実な候補を試す必要もあり、学習時と実運用時の分布が異なる場合にも性能は変わります。

また、選択による後悔は、予測誤差と候補間の効用差に関係すると整理されています。価値の高い候補と低い候補の差が明確であれば選別しやすく、差が小さければ誤選択の影響が大きくなります。

意義と残された課題

この研究は、新しい大規模モデルの性能記録を示すものではなく、スケーリング効率を考えるための設計仮説を提示するものです。すべての計算を同じ価値として数えるのではなく、目的に寄与する「情報のある計算」に注目し、その指標としてρ_uを測定できる可能性を示しています。

実用化には、System-1の推論コスト、見落としの損失、探索戦略、分布シフトを個別に評価する必要があります。したがって結論は、計算量を無条件に削減できるというものではありません。System-1を十分に軽量かつ信頼できるものにし、System-2を本当に価値のある処理へ集中させられるかが鍵になります。

出典：Hugging Face Daily Papers