ProgramGym、長期的なプログラム再現を行うコーディングエージェントを訓練

概要

コーディングエージェントの利用範囲は、既存リポジトリのバグ修正から、ソフトウェアをゼロから構築する作業へ広がりつつある。特に難しいのがプログラム再現だ。エージェントは参考プログラムを調査し、明示されていない要件を推測し、設計を選び、長い試行錯誤の中で動作する実装を完成させなければならない。これは単純なコード補完よりも実際のソフトウェア開発に近い一方、訓練環境と評価方法の設計も難しくなる。

ProgramGymは、この課題に対して Program-Env と Program-Agent という二つの要素を組み合わせる。環境を大量に作る仕組みと、長期タスクを進めるエージェントの手順を同時に整備する点が特徴だ。

主なポイント

• フィードバックで環境を修復する。 Program-Envはリポジトリから実行用サンドボックスとブラックボックステストを構築する。その後、実行環境のビルド失敗やテスト品質に関するフィードバックを使い、環境を修正して検証可能な状態を目指す。
• 四つの言語を対象にする。 構築された訓練環境は1,648個で、C、C++、Go、Rustをカバーする。システム系の開発に近い課題を含められるため、単純なスクリプト生成とは異なる能力を評価しやすい。
• 分析・実装・レビューを分離する。 Program-Agentは役割を分け、まず参考プログラムを調査してから実装し、最後にレビューする流れを採用する。最初の推測だけでコードを書き始めるのではなく、探索を開発工程の一部として扱う。
• 修正と失敗回復を組み込む。 コンパイル確認、リビジョン管理、失敗からの回復をワークフローに含めることで、ビルドエラーを受けて実装を更新する機会を与える。
• 性能向上を報告する。 ProgramBenchでは、構築環境から得た軌跡でQwen3.8-27Bを微調整すると、性能が34.87%から42.84%に上昇したと報告されている。Program-Agentを使った場合、ベースモデルは55.71%、SFTモデルは56.25%に達し、論文の設定では一部のフラッグシップモデルを上回った。

意義と限界

ProgramGymの重要性は、プログラム再現を一度のコード生成ではなく、観察、推論、設計、実装、コンパイル、テスト、修正から成る工程として扱った点にある。長期タスクでは、エージェントが失敗したときに意味のあるフィードバックが返ることが欠かせない。そのためには、サンドボックスが安定して動き、テストが表面的な出力だけでなく重要な挙動も確認できなければならない。

この観点では、環境生成はエージェント設計と同じくらい重要だ。テストが弱ければ、エージェントは本質的な再現ではなく、特定ケースへの対応に偏る可能性がある。逆に環境のビルドが不安定なら、失敗原因を学習することも難しい。Program-Envのフィードバックループは、こうした問題を訓練前に減らそうとする仕組みである。

また、役割分担型のワークフローは、探索、実装、コンパイル、レビューのどこで失敗したのかを分析する土台にもなる。ただし、提示された素材は論文概要が中心であり、ブラックボックステストの具体的な生成方法、1,648環境の内訳、言語別・難易度別の結果までは確認できない。したがって、示された数値は論文が報告する総合結果として読むべきだ。

この枠組みが拡張されれば、コーディングエージェントの評価は、局所的な修正能力から、不完全な情報をもとに実行可能なソフトウェアを完成させる能力へと近づく。環境の品質、検証、長期計画、失敗回復が、今後の研究でより重要になるだろう。

出典：Hugging Face Daily Papers