Repo-To-Skill：GitHubリポジトリをAI研究スキルへ変換

はじめに

論文の内容を理解し、コードを生成できることと、手法を実際に動かせることは同じではありません。データの準備、依存関係の設定、学習の起動、評価結果の読み方、失敗時の対処など、成功を左右する知識が別に存在するからです。こうした実務知識はGitHubのコード、スクリプト、ドキュメントに分散していますが、人間向けに書かれており、タスクのコンテキストへ丸ごと読み込むには大きすぎます。

「Repo-To-Skill」は、この知識を自律的な機械学習研究エージェントに欠けている層として捉えます。論文が紹介するDisCoは、研究を実行するだけでなく、リポジトリからスキルを作成し、必要な場面で利用するエージェントです。リポジトリに埋もれた手順を、検証可能な小さな能力単位へ圧縮することが中心的な発想です。

主なポイント

• 手法と実行をつなぐ知識層：既存の研究エージェントは、モデルに計画、実行、記憶、検証の仕組みを組み合わせます。DisCoはそこへ、抽象的な手法を動作する手順に変える操作知識を加えます。
• 2種類の蒸留：タスク非依存型では、広く使われるリポジトリから再利用性の高い能力を抽出します。タスク指向型では、具体的な研究課題に必要なスキルを作成します。
• 大規模なスキルライブラリ：AREX-Skill Libraryは、1,000件の機械学習リポジトリから5,000件以上の検証済みスキルを抽出し、20分野・178能力ファミリーに整理しています。
• ベンチマークでの比較：GPT-5.5、研究用harness、下流の実行予算を固定した比較で、スキル付きエージェントは4つのベンチマークで高い結果を示しました。要約に記載された改善幅は、MLE-benchが134.3%、PaperBenchが34.4%、FrontierCSが9.2%、PassNetが14.0%です。

意義と課題

この研究の意義は、エージェントに専門知識を与える方法を変えようとしている点にあります。リポジトリ全体をコンテキストへ入れるのではなく、適用条件、操作手順、検証結果を含む能力単位に変換し、必要なものだけを呼び出します。これにより、毎回の探索や試行錯誤を減らし、ある研究で得た工学的経験を別の課題へ移せる可能性があります。

一方、スキルは静的な知識ではありません。コードや依存関係、推奨手法は変化するため、過去に正しかったスキルが古くなることがあります。誤った手順を自動的に圧縮すれば、エラーが再利用されやすくなる危険もあります。今後は一時的なスコアだけでなく、転移性、鮮度、説明可能性、失敗範囲を継続的に評価する必要があります。

Repo-To-Skillは、オープンソースを単なる参照資料ではなく、構造化され、呼び出せ、検証できる操作知識の供給源として捉える道筋を示しています。

出典：Hugging Face Daily Papers