MPO, 장기 LLM 에이전트 학습을 토큰에서 턴 단위로 전환

장기 상호작용을 수행하는 LLM 에이전트를 학습할 때는 최종 답변에 보상하는 것만으로 충분하지 않습니다. 하나의 궤적에는 여러 어시스턴트 턴, 도구 호출, 환경 관찰, 복구 시도가 포함됩니다. 성공이나 실패를 유발한 행동이 무엇인지, 그리고 그 행동을 구성하는 토큰 가운데 어느 부분에 책임을 배분할지가 핵심 문제가 됩니다.

기존 정책 최적화 기법은 흔히 토큰을 기본 단위로 어드밴티지를 계산합니다. 이 방식은 세밀하지만 에이전트가 실제로 수행하는 행동 구조와 어긋날 수 있습니다. 하나의 턴에는 계획 설명, 구조화된 인자, 도구 호출이 모두 포함될 수 있습니다. 예를 들어 도구 인자 하나가 잘못되었을 때 같은 학습 신호를 턴의 모든 토큰에 퍼뜨리면, 올바르게 생성된 부분까지 불필요하게 벌을 받을 수 있습니다. 턴 길이가 크게 다르면 장기 궤적의 학습 잡음도 커질 수 있습니다.

논문은 이 문제를 다루기 위해 Multiscale Policy Optimization, 즉 MPO를 제안합니다. 출발점은 비평가의 가치가 한 턴 안에서는 비교적 안정적이고, 어시스턴트 턴 사이에서 주로 변한다는 관찰입니다. MPO는 턴을 정책 최적화의 기준점으로 삼되, 필요한 경우 턴 내부 토큰에도 세밀한 신용을 배분합니다.

핵심 구성은 두 가지입니다.

• 다중 스케일 어드밴티지 추정(MAE): 행동 전체가 이후 결과에 미치는 영향을 턴 수준에서 포착하고, 내부 토큰 사이의 차이도 반영합니다.
• 턴 단위 중요도 샘플링: 모든 토큰을 독립적인 업데이트 단위로 취급하지 않고, 턴 수준 정책 업데이트에 맞춰 정책 비율을 계산합니다.

MPO의 핵심은 토큰 학습을 단순한 턴 라벨로 대체하는 데 있지 않습니다. 어떤 완전한 행동이 결과에 책임이 있는지와 그 행동 내부에서 어느 부분이 기여했는지를 분리해 다루는 것입니다. 검색, 도구 사용, 자동화처럼 한 턴이 의미 있는 작업 하나에 대응하는 환경에서 이러한 설계는 실제 실행 구조와 잘 맞을 수 있습니다.

제공된 자료에 따르면 MPO는 검색, 도구 사용, 자동화 작업에서 강력한 강화학습 기준선보다 일관된 향상을 보였으며, 4B와 30B-A3B 모델 모두에서 평가되었습니다. 다만 결과의 안정성을 판단하려면 여러 랜덤 시드, 다양한 턴 길이, 체크포인트 선택 방식에 대한 추가 실험이 필요합니다.

MPO의 의미는 에이전트가 실제로 행동하는 경계를 학습 단위에 반영했다는 데 있습니다. 동시에 매우 긴 턴에서 중요도 비율을 어떻게 클리핑할지, 정책이 바뀐 뒤 비평가 가치가 계속 보정되어 있는지라는 실무 과제도 남깁니다. 턴 수준 가치를 추론 시 실패 감지나 재시도, 사람의 검토 트리거로 활용할 가능성은 있지만, 현재 자료만으로 운영상 효과를 단정할 수는 없습니다.

출처: Hugging Face Daily Papers