Agora：Gitを自律型AI研究エージェントの共有記憶にする

導入

自律型のコーディングエージェントは、設定を変更し、実験を実行し、改善案を探す研究ループを人間の常時監督なしで回せるようになっている。しかし、複数のエージェントを同時に動かせば、そのまま協調的な研究になるわけではない。各セッションが独立した初期状態から始まると、同じ実験を繰り返し、失敗や途中段階の発見を共有できないからだ。

NVIDIAの研究者が提案したAgoraは、この問題に対してGitを共有記憶として使う。単一の要約や上書き可能なログに研究を閉じ込めるのではなく、エージェントが互いの成果を確認し、再実行し、拡張できる永続的な研究グラフを構築する。

仕組み

Agoraでは、結果、仮説、洞察、検証、レポートをそれぞれ不変のGitコミットとして記録する。親コミットとの関係は、ある主張が何に基づくかを示す。これらのリンクによって追記型の有向非巡回グラフが形成され、利用者は特定の状態をチェックアウトして実験を再現し、その先に新しい分岐を作れる。

派生インデックスは、現在の研究フロンティア、長く放置された分岐、主張ごとの検証状況を表示する。また、選択ルールには多様性の要素が組み込まれ、全エージェントが一つの有力な方針だけに早期収束することを防ぐ。論文では、研究コミュニティが一つの方向に偏った際、途中で人間が介入して探索範囲を広げた事例も説明されている。

約12日間の運用

最初の継続的な運用では、13の言語モデルワーカーが約12日間、担当タスクも中央プランナーもない状態で重み転送問題に取り組んだ。対象は、注意機構と状態空間モジュールを組み合わせた1億1,960万パラメータの凍結モデルである。141個の事前学習済みドナーモデルのどれとも次元が一致せず、学習データも勾配更新も利用できない条件だった。

ワーカーは1,703件の貢献を公開し、評価値を3.39から1.899 bits per byteへ改善した。論文によれば、学習済みGPT-2 124Mとの差の62%を埋めたことになる。最終的なレシピは、ドナーモデルの次トークン予測統計を対象モデルの埋め込みと出力ヘッドへ圧縮し、その後、注意、フィードフォワード、状態空間ブロックを疎に編集して短距離の文脈信号を加えた。

意義と限界

Agoraの重要性は、単にエージェントを増やしたことではなく、研究協調の形式を変えた点にある。Gitのバージョン管理、分岐、復元機能と、DAGによる依存関係の可視化を組み合わせることで、失敗した試行も次の探索に使える記録になる。

ただし、この運用だけで共有記憶が同じ計算量で発見効率を高めると結論づけることはできない。論文自身も、独立に動くエージェントとの対照実験が必要だとしている。今後は、誤った主張の拡散を抑え、貢献の質を評価し、探索の多様性と収束速度を両立する設計が課題になる。

出典：Hugging Face Daily Papers