ClawLoop、Harness環境で動くエージェントの自己改善ループを提案

導入

大規模言語モデルのエージェントがチャット画面からサンドボックス、ファイルシステム、シェルへと活動範囲を広げるにつれ、必要な能力も単純なツール呼び出しを超えてきました。エージェントは、作業を分解し、複数のコマンドを実行し、途中の状態を確認し、失敗から復旧しなければなりません。

この種のHarnessベースのエージェントでは、従来の学習パイプラインは一方向になりがちでした。より強力な外部モデルがタスクや軌跡を作り、対象モデルを一度訓練し、結果を人間が評価するという流れです。論文の ClawLoop は、評価結果を次のデータ生成に戻すことで、この構造を循環型に変えようとしています。

仕組みのポイント

ClawLoopは、次の3段階を組み合わせます。

• タスク合成：2種類の相補的な構築手法で多様な訓練タスクを作成します。能力診断に基づいて難易度を高めた後、エージェントを使わない検証と、エージェントを使う検証の両方でタスクを確認します。
• 訓練：生成されたデータを、教師ありファインチューニング（SFT）、強化学習（RL）、またはその組み合わせに利用します。
• 診断とフィードバック：タスク実行時のロールアウトを分析し、能力分析レポートを作成します。そのレポートが次のタスク合成に入力されます。

重要なのは、単に自動で問題を作るだけではない点です。現在のモデルがどのような失敗をしたかを手掛かりに、次のタスクの種類や難易度を調整します。理想的には、計画、環境確認、エラーからの復旧など、弱点に対応した練習を反復的に与えられます。

報告された結果と注意点

論文では、ループを動かすモデルとしてQwen3.6-27Bを使用し、SkillsBench、Claw-Eval-Live、ClawGym-Benchの各ベンチマークで継続的な改善が得られたと報告しています。さらに、反復的に改良されたタスクをQwen3.5-4Bおよび9Bへ転移したところ、これらのモデルでも各ベンチマークで向上が見られました。生成データの有効性が、ループモデルの規模だけに依存しない可能性を示す結果です。

一方、提供された素材には具体的なスコア、訓練コスト、反復回数、他方式との詳細な比較は含まれていません。そのため、計算資源あたりの効率や、どの環境でも同じ効果が出るかは判断できません。また、タスクの設計、検証、報酬設定、診断の精度は依然として結果を左右します。

意義と今後

ClawLoopの意義は、エージェント訓練を一度限りのデータ作成から、行動に応じてデータを更新する継続的なプロセスへ捉え直したことにあります。リポジトリやファイル、コマンドライン環境を扱うエージェントにとって、失敗した軌跡は適切に分類できれば重要な学習信号になります。

同時に、自己生成タスクへの過適応には注意が必要です。今後は、失敗分類の透明性、独立した評価セット、反復ごとのコスト分析を通じて、閉ループが本当に汎用的な信頼性を高めるのか検証する必要があります。

出典：Hugging Face Daily Papers