SEED: 에이전트 궤적을 자기 진화형 사후 스킬로 바꾸다

들어가며

대형 언어 모델이 대화형 에이전트로 훈련되면서, 모델은 단순히 한 번의 답을 생성하는 수준을 넘어섰다. 여러 차례 상호작용하고, 도구를 사용하며, 환경의 피드백을 해석하고, 긴 시간 범위의 목표를 달성해야 한다. 결과 기반 강화학습은 이런 문제에 실용적인 최적화 방법을 제공하지만, 보상이 대개 전체 궤적이 끝난 뒤에만 주어진다는 한계가 있다.

이 경우 모델은 에피소드가 성공했는지는 알 수 있어도, 중간의 어떤 관찰이나 행동, 추론 단계가 결정적이었는지는 알기 어렵다. SEED(SElf-Evolving On-Policy Distillation)는 이 감독 신호의 공백을 줄이기 위해, 완료된 궤적을 학습 중 활용 가능한 사후 스킬로 바꾸는 방식을 제안한다.

핵심 내용

• 궤적을 자연어 스킬로 변환: SEED는 정책 모델이 완료된 상호작용 기록을 분석해 재사용 가능한 절차, 중요한 관찰, 실패를 피하는 규칙 등을 자연어로 생성하도록 학습시킨다.
• 현재 정책과의 정렬 유지: 강화학습 중에는 현재 정책이 직접 궤적을 수집하고, 동시에 그 궤적을 분석하는 역할을 한다. 따라서 보조 감독은 현재 정책이 실제로 마주치는 데이터 분포와 가깝게 유지된다.
• 조밀한 token 수준 신호 생성: 일반 문맥과 스킬이 추가된 문맥에서 샘플링된 행동을 다시 점수화하고, 스킬이 만들어낸 확률 변화량을 on-policy 증류 신호로 사용한다.
• 결과 기반 RL과 공동 최적화: 이 증류 신호는 강화학습 보상을 대체하지 않는다. 최종 성공 여부를 반영하는 outcome-based RL과 함께 학습되어 중간 의사결정에 더 많은 단서를 제공한다.

의미와 영향

SEED의 핵심은 에이전트의 ‘사후 복기’를 지속적으로 진화하는 학습 신호로 만든다는 점이다. 정책이 개선되면 더 나은 궤적을 만들 수 있고, 그 궤적에서 추출되는 스킬도 함께 변화한다. 이렇게 만들어진 스킬은 다시 다음 정책 업데이트에 영향을 주며 순환 구조를 형성한다.

장기 에이전트 과제에서는 작은 중간 실수가 전체 실패로 이어질 수 있다. 최종 보상만으로는 이런 세부 판단을 충분히 학습하기 어렵다. SEED는 모델이 단순히 성공과 실패를 구분하는 데 그치지 않고, 어떤 행동 패턴이 유용했는지를 학습하도록 돕는 접근으로 볼 수 있다.

논문 요약에 따르면 SEED는 텍스트 기반 및 비전 기반 에이전트 과제에서 성능과 샘플 효율을 개선했으며, 보지 못한 시나리오에도 견고한 일반화 성능을 보였다. 앞으로는 더 복잡한 도구 사용, 더 긴 상호작용, 실제 환경에 가까운 불확실한 피드백에서도 이러한 자기 생성 스킬이 안정적인 감독 신호가 될 수 있는지가 관건이다.

출처: Hugging Face Daily Papers