Repo-To-Skill: GitHub 저장소를 AI 연구 스킬로 바꾸다

들어가며

논문을 이해하고 코드를 생성하는 것만으로는 머신러닝 방법을 실제로 재현하기 어렵습니다. 데이터 준비, 의존성 설정, 학습 실행, 평가 결과 해석, 실패 상황의 복구처럼 결과를 좌우하는 운영 지식이 따로 필요하기 때문입니다. 이 지식은 GitHub 코드와 스크립트, 문서에 흩어져 있으며 대체로 사람을 위해 작성됩니다. 따라서 전체 저장소를 작업 컨텍스트에 넣기에는 너무 크고, 다른 과제에서 그대로 재사용하기도 어렵습니다.

「Repo-To-Skill」은 이러한 지식을 자율 머신러닝 연구 에이전트의 빈틈으로 규정합니다. 논문이 소개하는 DisCo는 연구를 수행하는 동시에 저장소에서 스킬을 만들고, 필요한 시점에 이를 활용하는 에이전트입니다. 핵심은 저장소 수준의 실행 경험을 작고 검증 가능한 능력 단위로 압축하는 데 있습니다.

핵심 내용

• 방법과 실행 사이의 지식 계층: 기존 연구 에이전트는 모델 백본에 계획, 실행, 메모리, 검증 기능을 결합합니다. DisCo는 여기에 추상적인 방법을 실제로 작동하는 절차로 바꾸는 운영 지식을 추가합니다.
• 두 가지 증류 방식: 작업 비종속형 방식은 널리 사용되는 저장소에서 여러 과제에 적용할 수 있는 스킬을 추출합니다. 작업 지향형 방식은 특정 연구 과제가 요구하는 스킬을 생성합니다.
• 확장된 스킬 라이브러리: AREX-Skill Library는 1,000개의 머신러닝 저장소에서 5,000개 이상의 검증된 스킬을 만들었으며, 이를 20개 영역과 178개 역량군으로 분류합니다.
• 벤치마크 비교: GPT-5.5 백본, 연구 harness, 하위 작업 실행 예산을 고정한 조건에서 스킬을 사용한 에이전트가 네 가지 벤치마크에서 더 높은 결과를 보였습니다. 초록에 제시된 향상 폭은 MLE-bench 134.3%, PaperBench 34.4%, FrontierCS 9.2%, PassNet 14.0%입니다.

의미와 과제

이 연구의 의미는 에이전트에 전문 지식을 공급하는 방식을 바꾸려는 데 있습니다. 저장소 전체나 긴 문서를 컨텍스트에 주입하는 대신, 적용 조건과 절차, 검증 신호를 포함한 스킬로 변환한 뒤 필요한 항목만 호출할 수 있습니다. 이는 반복적인 탐색과 시행착오를 줄이고, 한 연구에서 얻은 엔지니어링 경험을 다른 과제로 이전하는 데 도움을 줄 수 있습니다.

그러나 스킬 라이브러리는 정적인 지식 저장소가 아닙니다. 코드, 의존성, 도구 인터페이스와 권장 방식은 계속 바뀌므로 기존 스킬이 조용히 낡을 수 있습니다. 생성 과정에서 잘못된 절차가 포함되면 오류가 더 쉽게 복제될 위험도 있습니다. 따라서 향후 평가는 단일 과제 점수뿐 아니라 전이 가능성, 최신성, 설명 가능성, 실패 범위도 다뤄야 합니다.

Repo-To-Skill은 오픈소스 저장소를 단순한 참고 자료가 아니라, 구조화되고 호출 가능하며 검증 가능한 운영 지식의 원천으로 바라보는 방향을 제시합니다.

출처: Hugging Face Daily Papers