서론

API를 호출하며 일을 처리하는 LLM 에이전트를 학습시키려면 단순한 질의응답 데이터만으로는 부족합니다. 검색, 생성, 수정, 제출 같은 여러 단계의 행동이 이어지는 궤적이 필요합니다. 그런데 이런 데이터를 모으려면 실제로 동작하는 API, 상태를 가진 백엔드, 현실적인 초기 데이터가 갖춰진 환경이 필요하고, 이는 규모를 키우는 데 큰 장벽이 됩니다.

이 논문은 그 병목을 LLM으로 우회합니다. 완전한 환경을 먼저 만드는 대신, LLM을 즉석의 디지털 월드 모델처럼 활용하는 접근입니다.

방법의 핵심

제안된 방식은 API 명세만 있으면 동작합니다. 전체 흐름은 다음과 같습니다.

• 작업 생성: LLM이 주어진 API로 해결 가능한 다양한 과제를 만든다.
• 교사 에이전트 수행: teacher agent가 과제를 단계적으로 해결한다.
• 응답 시뮬레이션: 별도의 LLM simulator가 과제 맥락과 이전 상호작용을 바탕으로 일관된 API 응답을 생성한다.
• 품질 선별: LLM judge가 부자연스럽거나 품질이 낮은 궤적을 제거한다.

여기서 중요한 점은 상태 일관성입니다. 많은 API 작업은 한 번의 응답으로 끝나지 않고, 이전 행동이 다음 상태를 바꿉니다. 따라서 시뮬레이터가 맥락을 유지하지 못하면 학습 데이터 자체가 흔들릴 수 있습니다.

왜 중요한가

이 접근은 API 에이전트 학습의 비용 구조를 바꿉니다.

• 환경을 완성한 뒤 데이터를 모으는 방식에서 벗어날 수 있다.
• 새로운 API 생태계에도 빠르게 적용할 수 있다.
• 정보 검색형과 상태 변경형 작업 모두를 다룰 수 있다.
• 대규모 궤적 수집의 진입 장벽을 낮춘다.

연구진은 AppWorld와 OfficeBench에서 이 방법을 평가했고, 합성 데이터로 미세조정한 모델이 성능 향상을 보였다고 보고합니다. 즉, 실행 가능한 환경이 없어도 효과적인 감독 신호를 만들 수 있다는 뜻입니다.

의미와 시사점

이 논문의 가치는 단지 합성 데이터를 만들었다는 데 있지 않습니다. 핵심은 “환경을 구현해야만 학습할 수 있다”는 전제를 뒤집었다는 점입니다. 기업 내부 도구, 업무 자동화, 사내 워크플로처럼 실제 환경을 그대로 공개하기 어려운 영역에서 특히 유용할 수 있습니다.

물론 과제도 남아 있습니다. 시뮬레이터의 편향은 없는지, judge가 미묘한 오류를 잘 잡는지, 합성 궤적이 실제 환경과 얼마나 잘 맞는지 검증이 필요합니다. 그럼에도 이 연구는 API 에이전트 학습을 더 빠르고 유연하게 만들 수 있는 실용적 방향을 제시합니다.

Source: Hugging Face Daily Papers