CoPE, 행동과 예측을 함께 학습하는 언어 에이전트 강화학습

배경

웹 탐색, 도구 호출, 시뮬레이션 환경의 문제 해결과 같은 언어 에이전트 작업은 여러 관찰과 행동이 이어지는 긴 상호작용으로 구성됩니다. 하지만 일반적인 에이전트 강화학습은 작업이 끝난 뒤 성공 또는 실패를 나타내는 하나의 스칼라 보상에 의존하는 경우가 많습니다. 이 신호는 결과의 좋고 나쁨은 알려주지만, 중간에 어떤 행동이 성공에 기여했는지 직접 설명하기는 어렵습니다. CoPE는 성공 궤적에 이미 포함된 중간 정보를 새로운 방식으로 활용합니다.

CoPE의 핵심 아이디어

CoPE는 별도의 가치 모델을 추가하는 대신 다중 단계 행동 목표를 도입합니다. 성공한 온폴리시 궤적에서 특정 이력을 본 뒤 실제로 이어진 행동 시퀀스를 공유 정책 백본이 예측하도록 학습합니다. 따라서 하나의 궤적을 여러 시점에서 감독 신호로 사용할 수 있습니다.

• 중간 행동을 직접 감독: 성공 궤적의 후속 행동이 최종 보상을 통해 간접적으로만 전달되지 않고 학습 목표가 됩니다.
• 행동과 예측의 공동 진화: 모델은 다음 행동을 선택하는 동시에 이전 이력으로부터 앞으로의 행동을 예상합니다.
• 추론 구조는 그대로 유지: 실제 사용 시 에이전트는 기존처럼 한 번에 하나의 행동을 수행하며, 별도 예측 모듈이나 추가 처리 비용이 없습니다.

이 방식은 기존의 보조 목표와 구별됩니다. 단계별 가치 목표는 대체로 동일한 최종 신호에서 파생되고, 웹 페이지나 터미널 로그를 예측하는 관찰 목표는 길고 noisy하며 보통 다음 환경 응답까지만 다룹니다. CoPE는 에이전트가 실제로 선택해야 하는 행동 시퀀스를 예측 대상으로 삼아 의사결정 과정과 더 직접적으로 연결합니다.

평가 결과와 의미

논문은 ALFWorld, ScienceWorld, WebShop, τ²-bench, AppWorld 등 5개 벤치마크에서 CoPE를 평가했습니다. GRPO와 예측 보조 목표를 사용하는 강화학습 기준선과 비교한 결과, 시뮬레이션 환경에서 더 강한 종합 성능을 기록했고 실제 애플리케이션에 가까운 과제에서도 전반적인 결과를 개선했습니다. 샘플 효율은 일부 비교 방법보다 최대 약 2배 높았습니다.

이 결과가 시사하는 점은 장기 에이전트 학습의 병목이 단순히 더 많은 궤적을 수집하는 데만 있지 않다는 것입니다. 성공한 궤적에는 각 이력 뒤에 어떤 행동이 이어져야 하는지에 대한 여러 학습 신호가 이미 들어 있습니다. CoPE는 이를 명시적인 예측 목표로 바꾸어 희소 보상 환경에서 신용 할당을 개선하는 방향을 제시합니다.

다만 이 방법은 성공한 온폴리시 궤적에 의존하므로 데이터의 품질과 다양성이 결과에 영향을 줄 수 있습니다. 제공된 자료에는 상세한 소거 실험이나 실패 사례 분석이 포함되어 있지 않으므로, 작업 분포가 달라질 때의 한계와 일반화 범위는 추가 검증이 필요합니다.

Hugging Face Daily Papers