SPyCE: 멀티모달 에이전트의 경험을 재사용 가능한 스킬로 진화시키다

도입

멀티모달 에이전트는 이제 단순히 이미지를 보고 답하는 수준을 넘어, 시각 증거를 반복적으로 다루고 도구를 호출하며 여러 단계에 걸쳐 판단하는 방향으로 발전하고 있다. 이런 작업에서는 개별 이미지 이해 능력뿐 아니라, 어떤 순서로 시각 정보를 조작하고 어떤 도구를 사용할지에 대한 반복 가능한 절차가 중요하다.

논문 “SPyCE: Skill-Policy Co-evolution for Multimodal Agents”는 이러한 절차를 학습하는 새로운 방법을 제안한다. 기존 강화학습은 전체 궤적을 스칼라 보상으로 축약하는 경우가 많아, 정책이 유용한 도구 사용 패턴을 매번 다시 찾아야 한다. 반면 메모리 기반 방법은 과거 경험을 저장하지만, 주로 테스트 시점 검색에 의존하며 정책 자체가 그 경험을 충분히 흡수하지 못한다. SPyCE의 핵심은 유용한 추론 궤적을 재사용 가능한 스킬로 만들고, 그 스킬을 정책과 함께 진화시키는 것이다.

핵심 요점

• 궤적을 학습 자산으로 전환: SPyCE는 정책이 생성한 가치 있는 롤아웃을 스킬 라이브러리로 증류하고, 강화학습 중 지속적으로 갱신한다.
• 계층적 스킬 구조: 실행 스킬은 국소적인 시각 조작과 도구 사용 행동을 담고, 워크플로 스킬은 여러 단계를 조직하는 상위 수준의 사전 지식을 제공한다.
• 정책과 스킬의 폐쇄 루프: 훈련 중 정책은 검색된 스킬을 조건으로 롤아웃을 수행한다. 더 나은 정책은 더 좋은 궤적을 만들고, 이는 다시 스킬 라이브러리를 개선한다.
• 벤치마크에서의 우위: 논문은 여덟 개 벤치마크에서 SPyCE가 강화학습 기반 및 메모리 기반 기준선을 일관되게 앞섰다고 보고한다. 추가 분석에서는 계층적 설계와 공동 진화 메커니즘이 모두 중요하다고 설명한다.

의미와 영향

SPyCE가 흥미로운 이유는 멀티모달 에이전트의 경험을 일회성 보상이나 정적 사례가 아니라, 향후 행동을 안내하는 구조화된 지식으로 다룬다는 점이다. 이미지 확대, 비교, 증거 검토, 도구 선택처럼 반복되는 작업이 많은 환경에서는 이러한 스킬화가 불필요한 탐색을 줄이는 데 도움이 될 수 있다.

더 넓게 보면, 에이전트 학습은 단순히 정책 파라미터를 최적화하는 방식에서, 정책과 함께 성장하는 스킬 시스템을 구축하는 방향으로 확장될 수 있다. 장기 추론, 시각 도구 사용, 복잡한 멀티모달 워크플로를 다루는 AI 에이전트에서는 스킬과 정책의 공동 최적화가 중요한 연구 축이 될 가능성이 있다.

출처: arXiv