RESOURCE2SKILL: 인간 튜토리얼을 실행 가능한 에이전트 스킬로

도입

소프트웨어 에이전트가 실제 작업 환경에서 유용해지려면 단순한 추론 능력만으로는 부족하다. 어떤 메뉴를 눌러야 하는지, 어떤 순서로 도구를 써야 하는지, 결과가 어떤 모습이어야 하는지를 알아야 한다. 인터넷에는 이미 튜토리얼 영상, 코드 저장소, 문서, 해설 글, 고품질 예시처럼 방대한 절차적 지식이 존재한다. 하지만 대부분은 사람이 보고 배우도록 만들어졌고, 에이전트가 곧바로 검색하고 조합해 실행할 수 있는 형태는 아니다. Microsoft Research가 제안한 RESOURCE2SKILL은 이 지식을 실행 가능한 스킬로 증류하려는 시도다.

핵심 내용

• 스킬의 원천을 확장: 기존 스킬 라이브러리는 사람이 직접 작성한 텍스트, 텍스트 중심 설명, 또는 에이전트 실행 기록에서 얻은 지식에 의존하는 경우가 많았다. RESOURCE2SKILL은 영상, 저장소, 글, 참고 산출물까지 함께 활용한다.
• 계층형 멀티모달 Skill Wiki: 추출된 스킬은 구조화된 Skill Wiki로 정리된다. 각 항목은 설명 텍스트뿐 아니라 코드, 시각 예시, 메타데이터, 출처 정보를 포함해 에이전트가 스킬의 용도와 적용 조건을 파악하도록 돕는다.
• 매체별 신호를 보존: 영상은 시간 순서, 화면 조작, 시각적 변화에 강하다. 코드는 실행 가능한 도구 사용 패턴을 제공한다. 글과 참고 결과물은 개념, 스타일, 제작 의도를 보완한다.
• 추론 시 검색과 조합: 에이전트는 작업을 수행할 때 Wiki에서 관련 스킬을 검색하고 필요하면 여러 스킬을 조합한다. 기존 스킬만으로 부족할 경우 같은 구성 연산자를 통해 온라인에서 새 스킬을 얻을 수 있다.
• 다양한 도메인에서의 성능: 논문은 PowerPoint, Excel, 웹 생성, Blender, CAD, UI/UX, 음악 제작 등 7개 실용 저작 영역에서 평가를 제시한다. 4개 모델 백엔드 전반에서 RESOURCE2SKILL은 스킬이 없는 에이전트보다 평균 종합 점수를 11.9%포인트 높였고, 28개 모델-도메인 설정 모두에서 개선을 보였다고 보고한다. 또한 강한 agentic harness 기준선과 비교해 주요 집계 설정 26/28에서 앞섰다고 설명한다.

의미와 영향

RESOURCE2SKILL의 의미는 스킬을 기반 모델과 실제 소프트웨어 환경을 연결하는 인터페이스로 본다는 데 있다. 더 큰 모델을 쓰거나 프롬프트를 다듬거나 전용 자동화 스크립트를 만드는 방식만이 아니라, 인간이 이미 공개한 절차적 지식을 체계적으로 추출해 에이전트의 작업 능력으로 전환하는 경로를 제시한다.

특히 저작 도구에서는 이 접근이 중요하다. 슬라이드 작성, 스프레드시트 작업, 3D 모델링, UI 설계, 음악 제작은 서로 다른 도구 체계와 품질 판단을 요구한다. 텍스트 설명만으로는 화면 변화나 스타일 목표를 충분히 담기 어렵다. 멀티모달 스킬 항목은 에이전트가 작업 절차와 시각적 목표를 함께 참고하게 만든다.

물론 한계도 있다. 스킬 품질은 원본 자료의 품질, 추출 방식, 검색 및 선택 전략에 크게 좌우된다. 온라인으로 새 스킬을 획득할 때는 신뢰성과 출처 관리도 중요하다. 그럼에도 RESOURCE2SKILL은 에이전트 능력 확장의 흥미로운 방향을 보여준다. 유용한 에이전트 스킬 상당수는 이미 인터넷 곳곳에 암묵적으로 존재하고 있을 수 있다.

출처: Hugging Face Daily Papers