SKT: 검증된 합성 데이터로 AI 에이전트의 스킬 활용을 훈련

도입

언어모델 에이전트는 이제 단순히 답변을 생성하는 수준을 넘어 도구를 호출하고, 절차를 실행하며, 반복 가능한 지식을 재사용하는 방향으로 발전하고 있다. 이때 스킬은 에이전트에게 재사용 가능한 절차적 지식을 제공하는 핵심 단위가 된다. 특정 도구 사용법, 문제 해결 절차, 여러 단계의 작업 흐름이 모두 스킬의 형태가 될 수 있다.

하지만 스킬을 보유하는 것과 스킬을 잘 사용하는 것은 다르다. 에이전트는 현재 과제에 어떤 스킬이 필요한지 판단하고, 적절한 순서로 적용하며, 여러 스킬을 함께 조율해야 한다. Hugging Face Daily Papers에 소개된 논문 “SKT: Skill-Use Training at Scale via Verified Synthetic Data Generation”은 바로 이 문제를 겨냥한다. 연구진은 검증된 합성 데이터를 통해 대규모 스킬 사용 훈련을 수행하는 SKT 파이프라인을 제안했다.

핵심 내용

• 초점은 스킬 제공이 아니라 스킬 사용 능력: 논문은 현재 모델이 필요한 스킬을 갖고 있어도 이를 제대로 식별, 적용, 조율하지 못할 수 있다고 지적한다.
• 단일 스킬과 다중 스킬 과제를 모두 생성: SKT는 대규모 스킬 모음에서 적절한 구성을 선택하고, 하나의 스킬만 필요한 과제뿐 아니라 여러 스킬을 함께 써야 하는 과제도 합성한다.
• 검증과 수정 절차를 포함: 생성된 과제와 실행 궤적은 규칙 기반 검증과 에이전트 기반 검증을 거친다. 문제가 있으면 피드백을 바탕으로 수정하며, 모든 필수 스킬을 충분히 사용한 성공 궤적만 남긴다.
• 상당한 규모의 데이터 생성: 2,000개의 공개 스킬을 활용해 4,000개의 태스크 패키지와 27,164개의 검증된 실행 궤적을 만들었다.
• SkillEval 평가 벤치마크 구축: 같은 파이프라인을 사용하되 학습과 분리된 테스트 풀을 기반으로, 실행 가능한 스킬 사용 평가 벤치마크 SkillEval도 구성했다.

의미와 영향

SKT가 중요한 이유는 에이전트 개발의 병목을 더 정확히 짚기 때문이다. 많은 시스템은 더 많은 도구와 스킬을 붙이는 데 집중한다. 그러나 실제 실패는 자원이 없어서가 아니라, 에이전트가 잘못된 스킬을 선택하거나, 필요한 스킬을 빠뜨리거나, 여러 스킬을 올바른 순서로 연결하지 못할 때 자주 발생한다.

SKT는 이 문제를 고품질 감독 데이터 생성 문제로 다룬다. 합성된 결과를 그대로 쓰지 않고, 검증과 피드백 기반 수정을 통해 실제로 과제를 성공적으로 수행하고 필수 스킬을 사용한 궤적만 남긴다. 초록에 따르면 SKT 궤적으로 지도 미세조정을 수행했을 때 다양한 모델, 벤치마크, 에이전트 harness에서 스킬 사용 성능이 일관되게 향상됐다. 검증 관련 절제 실험은 고품질 supervision의 중요성을 보여주고, cross-harness 평가는 개선 효과가 특정 인터페이스에만 묶이지 않음을 시사한다. 또한 스킬 커버리지가 넓을수록 향상이 커지는 경향도 보고됐다.

결국 이 연구는 앞으로의 에이전트 성능 향상이 단순한 스킬 라이브러리 확장만으로는 부족하다는 점을 보여준다. 실행 가능하고 검증된 스킬 사용 경험을 대규모로 만들어 학습시키는 것이, 더 신뢰할 수 있는 에이전트를 만드는 핵심 경로가 될 수 있다.

출처: Hugging Face Daily Papers