Agentic ESOpt: 진화 전략으로 장기 작업 LLM 에이전트 미세 조정

들어가며

대규모 언어 모델 에이전트는 단일 응답을 넘어 계획 수립, 도구 호출, 환경과의 반복 상호작용이 필요한 작업으로 확장되고 있다. 작업의 시간적 범위가 길어질수록 가능한 행동과 분기는 늘어나지만, 유용한 보상은 마지막 결과에서만 주어질 수 있다. 이때 기존 에이전트 강화학습은 두 가지 압박을 받는다. 역전파 기반 학습 스택이 큰 메모리를 요구한다는 점과, 긴 궤적에서 어떤 행동이 최종 결과에 기여했는지 추적하기 어렵다는 점이다. 논문 「Agentic ESOpt」는 진화 전략(Evolution Strategies, ES)을 이용해 이 문제를 다르게 풀자고 제안한다.

핵심 내용

• 그래디언트 대신 매개변수 공간을 탐색한다. 일반적인 강화학습은 중간 활성값과 그래디언트 관련 정보를 저장하며 모델을 업데이트한다. Agentic ESOpt는 현재 언어 모델 매개변수 주변에서 여러 섭동을 샘플링하고, 각 변형 모델을 에이전트로 실행해 작업 성과를 평가한다.
• 전체 궤적 보상으로 업데이트한다. 후보 에이전트가 작업을 끝내면 보상에 따라 섭동의 가중치를 정하고 온라인 업데이트를 적용한다. 각 단계의 보상을 세밀하게 분해하기보다 완성된 궤적과 매개변수 변화의 관계를 직접 활용해, 작업 길이가 늘어날 때 발생하는 신용 할당의 복잡성을 줄이려는 방식이다.
• 전 매개변수 미세 조정의 메모리 장벽을 낮춘다. 논문은 ES가 추론 단계에 가까운 GPU 메모리만으로 전 매개변수 최적화를 수행할 수 있다는 점을 강조한다. 따라서 더 큰 모델을 조정할 가능성이 열린다. 다만 후보 모델을 반복 실행해야 하므로 전체 계산량과 추론 시간까지 자동으로 줄어드는 것은 아니다.
• 매개변수와 컨텍스트를 함께 진화시킨다. ES는 비교적 단순한 블랙박스 피드백 인터페이스를 사용하므로 프롬프트, 스킬 설명, 테스트 시점 계산 같은 컨텍스트 공간 최적화와 결합하기 쉽다. Agentic ESOpt는 가중치만 변경하는 것이 아니라 에이전트의 행동을 유도하는 컨텍스트까지 함께 조정하는 틀을 지향한다.

의미와 한계

이 접근의 핵심은 긴 궤적의 모든 행동에 보상을 배분하는 문제를 “어떤 매개변수 섭동이 전체 작업 결과를 개선했는가”라는 질문으로 바꾸는 데 있다. 외부 평가기나 도구 환경처럼 직접적인 그래디언트를 제공하기 어려운 작업에서도 적용하기 쉬운 형태다. 또한 모델 업데이트와 프롬프트·스킬 변경을 하나의 피드백 체계에서 다룰 수 있다는 장점이 있다.

그러나 진화 전략은 후보를 반복 평가해야 한다. 작업 자체가 길다면 필요한 롤아웃 수가 빠르게 늘어날 수 있고, 보상에 잡음이 많으면 탐색의 안정성도 영향을 받는다. 전체 궤적 수준의 귀속은 단계별 신용 할당을 단순화하지만, 동시에 최적화 신호를 거칠게 만들 가능성이 있다. 현재 제공된 자료에는 벤치마크 결과, 실제 메모리 절감량, 에이전트 강화학습과의 상세 비교가 포함되어 있지 않다. 따라서 Agentic ESOpt를 이미 입증된 대체재로 단정하기보다는, 희소 보상과 긴 상호작용을 다루는 에이전트 학습에서 강화학습을 보완할 수 있는 실험적 방향으로 평가하는 편이 타당하다.

출처: Hugging Face Daily Papers