RESOURCE2SKILL：人間向けチュートリアルを実行可能なAgentスキルへ

導入

ソフトウェアAgentが実際の作業環境で役立つためには、単に推論できるだけでなく、具体的なツール操作を知っている必要があります。インターネット上には、チュートリアル動画、コードリポジトリ、ドキュメント、解説記事、優れた作例など、膨大な手順知識が存在します。しかし、その多くは人間が見て学ぶためのものであり、Agentがそのまま検索し、組み合わせ、実行できる形にはなっていません。Microsoft ResearchのRESOURCE2SKILLは、このギャップを埋めるためのフレームワークです。

主要ポイント

• スキルの素材を広げる：従来のスキルライブラリは、手書きの説明、テキスト中心の知識、またはAgentの実行軌跡から得たものに偏りがちでした。RESOURCE2SKILLは、動画、リポジトリ、記事、参考成果物をまとめて利用します。
• 階層型のSkill Wikiとして整理：抽出されたスキルは、マルチモーダルなSkill Wikiに構造化されます。各項目には、説明文、コード、視覚例、メタデータ、出典情報が含まれ、Agentが技能の使いどころを判断しやすくなります。
• メディアごとの強みを保持：動画は操作順序や画面上の変化を伝え、コードは実行可能なツール利用パターンを示します。記事や成果物は、概念、スタイル、制作意図を補います。
• 推論時に検索・合成できる：Agentはタスクに応じて関連スキルを検索し、必要に応じて組み合わせます。既存のWikiで十分に対応できない場合には、同じ構築オペレータでオンラインに新しいスキルを獲得できます。
• 多様な領域での評価：論文では、PowerPoint、Excel、Web生成、Blender、CAD、UI/UX、音楽制作の7領域で評価されています。4種類のモデルバックエンドをまたいで、スキルなしAgentより平均総合スコアが11.9ポイント向上し、28のモデル・ドメイン設定すべてで改善が見られたと報告されています。また、強力なAgent harnessベースラインに対しても、主要集計設定の26/28で上回ったとされています。

意義と影響

RESOURCE2SKILLの重要性は、スキルを基盤モデルと実用ソフトウェア環境をつなぐインターフェースとして扱っている点にあります。モデルを大きくする、プロンプトを工夫する、専用スクリプトを書く、といった方法だけでなく、人間がすでに公開している手順知識を体系的に抽出することで、Agentを新しい領域へ適応させるという発想です。

これは特に、制作系ソフトウェアで意味を持ちます。スライド作成、表計算、3Dモデリング、UI設計、音楽制作では、操作手順だけでなく、画面変化、ツールの癖、見た目の品質判断も重要です。マルチモーダルなスキル形式は、テキストだけでは失われやすい文脈を残しやすくします。

一方で、課題もあります。スキルの有用性は、元資料の品質、抽出方法、検索・選択戦略に左右されます。オンラインで新しいスキルを得る場合には、信頼性や出典管理も重要になります。それでもRESOURCE2SKILLは、Agentの能力拡張に向けた有望な道筋を示しています。多くの有用な技能は、すでにネット上に暗黙的に存在しているのかもしれません。

出典：Hugging Face Daily Papers