GradCuit：LLMの推論をテスト時に内部状態から最適化する

導入

大規模言語モデルの推論能力を高める方法としては、プロンプト設計、複数サンプリング、候補の再ランキング、追加学習などがよく使われます。GradCuit はこれらとは少し異なり、モデルの重みは固定したまま、テスト時に入力ごとの連続的な潜在状態を最適化します。つまり、答えを何度も生成し直すだけでなく、その問題に対する内部の推論経路を調整しようとするアプローチです。

この手法では、プロンプトの隠れ表現と生成される continuation の間に、最適化可能な潜在状態を Transformer の特定の中間層へ挿入します。因果的自己注意と残りの Transformer ブロックにより、後続 token の対数確率から先行する潜在状態まで微分可能な経路ができます。その結果、出力全体への報酬やフィードバックを、潜在状態へより直接的に伝えられます。

主なポイント

• 重みを更新しないテスト時適応：GradCuit は LLM 自体をファインチューニングしません。各問題に対して一時的な潜在状態を最適化するため、推論時の適応手法と位置づけられます。
• 信用割り当てを明確化：従来の潜在推論手法では、潜在状態と推論過程がデコード済み token を介して結びつくことが多く、系列全体の成果を内部状態へどう帰属させるかが不透明でした。GradCuit は continuation 全体から潜在状態へ勾配を流す構造を持ちます。
• 複数条件での性能向上：論文では、5 種類の instruction-tuned backbone、3 つの推論ベンチマーク、2 種類の回答形式で評価し、平均精度 64.5% を報告しています。これは chain-of-thought prompting より 6.6 ポイント高く、最も強い比較手法より 2.4 ポイント高い結果です。
• 学習率に対する頑健性：7 種類の学習率設定で GradCuit は LatentSeek を一貫して上回り、精度の標準偏差も 1.53 から 0.82 に低下したとされています。さらに、random-walk 変種も LatentSeek と競争的な性能を示しました。
• 解釈可能性への手がかり：token レベルの勾配帰属では、潜在状態の影響が推論をつなぐ token に集中する傾向が示されています。また、層分析では初期から中間の Transformer 層が最適化空間として有効だと報告されています。

意義と影響

GradCuit の意義は、単なる精度改善にとどまりません。テスト時スケーリングを「より多く生成する」「候補を選び直す」方向だけでなく、「内部の推論状態を最適化する」方向へ広げています。複雑な推論タスクでは、重みを変えずにその場で推論の進み方を調整できる可能性があります。

一方で、実用化には課題もあります。テスト時最適化は通常、追加の計算コストを伴います。そのため、精度、遅延、コストのバランスが重要になります。また、報酬やフィードバック信号の設計が不安定であれば、潜在状態の更新が常に有効とは限りません。

研究面では、GradCuit は性能、頑健性、解釈可能性を同じ枠組みで扱っている点が興味深い手法です。今後、推論コストの削減や、より開かれた実タスクでの検証が進めば、テスト時潜在最適化は LLM 推論強化の有力な方向になり得ます。

出典：Hugging Face Daily Papers