Harness-of-Harness：コーディングエージェントを継続開発へ導く枠組み

導入

大規模言語モデルにコードを書かせ、動くサンプルを得ることは、すでに珍しくありません。しかし、数日間にわたって人間の介入なしに開発を続け、バグを直し、機能を増やし、最後に利用可能なソフトウェアへ仕上げることは別の課題です。論文が提案するHarness-of-Harness（HoH）は、この長期的な自律開発を支えるためのフレームワークです。新しい基盤モデルを作るのではなく、既存のコーディングエージェント用ハーネスの実行を組織化します。

主な仕組み

HoHは、計画、コーディング、テストを繰り返すループに、ループ間の独立評価を組み合わせます。重要な設計は次の通りです。

• 修正と機能拡張を両立する：既存の不具合だけでなく、製品の能力向上も各反復の目標に含めます。
• 小さく検証できる単位に分ける：範囲の明確な成果物を段階的に作り、長期作業で目標がずれるリスクを抑えます。
• 実装時テストと独立評価を分ける：開発中のテストはフィードバックに使い、独立評価では要件を本当に満たしたかを確認します。
• 手順ではなく成果物を制約する：エージェントの考え方や実装手順を固定せず、検証可能な出力を中心に管理します。
• 再利用と段階的な資源開放を促す：成果物、役割別ツール、スキルを必要な段階で提示し、既存の成果を作り直さないようにします。
• 履歴をバージョン管理する：プロジェクトの状態を保存し、比較、復旧、次の改善に利用します。

評価はGameCraft-Bench、FrontierSWE、ProgramBenchで行われ、CodexとGPT-5.5、OpenCodeとDeepSeek-V4-Pro、PiとMiniMax-M3という三つの組み合わせが使われました。概要によれば、三回の反復後、HoHは対応する単独ハーネスを一貫して上回り、平均相対向上率は52.25%、最大は82.86%でした。さらに70回を超える反復を行った事例では、連続した物語、実装済みの中核メカニクス、人間が遊べる体験、整った映像と統合音声を備えた一人称シューティングゲームが開発されました。

意義と残る課題

HoHの意義は、単発のコード生成ではなく、長期的なソフトウェア開発をフィードバックと状態管理の問題として扱った点にあります。タスク分解、検証のタイミング、資源の公開、過去成果の再利用は、モデルの規模と同じくらい重要になり得ます。

一方、提示された資料は主に概要レベルであり、さまざまな規模のプロジェクト、評価方法、計算コストに対する安定性までは判断できません。70回超のデモも、あらゆるソフトウェアが無監督で完成することを意味しません。今後は、失敗からの復旧、長期的なコード品質、テストの網羅性、反復回数とコストの関係を詳しく検証する必要があります。

出典：Hugging Face Daily Papers