SoL-Pi、長時間動くコーディングエージェントのトークン消費を削減

はじめに

コーディングエージェントは、単発のコード補完から、数時間にわたって自律的に探索するシステムへと変わりつつあります。エージェントは推論、ツール呼び出し、環境からのフィードバック確認、コード修正、テストを何度も繰り返します。このような長い軌跡では、基盤モデルの能力だけでなく、モデルを取り囲むharnessの設計が効率を左右します。どのように行動を実行するか、どの情報をコンテキストに残すか、観測結果をどう入力するかによって、トークン消費とAPI料金は大きく変わり得ます。

SoL-Piは、このharness層を改善対象にします。論文は再帰的自己改善（RSI）に着想を得て、さまざまな環境でharness rolloutを自動的に調査し、開発時の環境を超えて再利用できる改善を選び出します。新しい基盤モデルを学習するのではなく、既存モデルが長時間の作業をより効率よく進める方法を見つける、という発想です。

主なポイント

• 対象はharness層。 ツール実行、コンテキスト管理、情報の取り込みなど、エージェントの作業手順を最適化します。
• 4つの仕組みを採用。 最終的なSoL-Piには、行動実行、コンテキスト圧縮、観測処理、委任読解に関する改善が残りました。これは、どう行動するか、何を記憶するか、フィードバックをどう扱うか、どの読解を別の処理に任せるかに対応します。
• 複数環境で選別。 一つの開発環境だけに合わせるのではなく、より多様な環境で試行し、局所的な工夫ではなく移植可能な改善を目指します。
• コスト面で効果。 51件のEdgeBenchタスクで、SoL-PiはPiと同程度の性能を示しつつ、記録されたトークン通信量を44.7%～49.0%、APIコストを約3分の1削減したと報告されています。推定の時間当たり節約額は、標準のCodexおよびClaude Code harnessと比べて8.75～13.50ドル、Piと比べて4.36～5.71ドルです。

意義と限界

この研究が示すのは、エージェントの効率化は必ずしも大規模なモデルだけに依存しないという点です。重複するコンテキスト、不要な観測、過剰な読解を減らせれば、コストを抑えながら実行できる軌跡の数を増やせます。また、harnessの改善が環境をまたいで再利用できるなら、一度の自動探索を継続的に蓄積できるインフラへ変えられます。

一方、今回の素材は要約が中心で、4つの仕組みの具体的なアルゴリズム、ベースラインの設定、結果のばらつき、EdgeBenchのタスク構成は示されていません。そのため、「同程度の性能」やコスト削減は全体平均に関する報告として理解すべきです。実運用では、圧縮による重要情報の欠落、委任読解による遅延、モデルやツールチェーンを変えた場合の移植性も検証する必要があります。

SoL-Piの価値は、単なるトークン削減にとどまりません。harnessを継続的に研究、選別、改善できるシステム部品として扱う点にあります。自律的なコーディングエージェントが普及するほど、この視点は重要になりそうです。

Hugging Face Daily Papers