DRACO, 장기 에이전트 학습의 신용 할당을 세밀하게 개선

장기 에이전트에서 보상만으로 부족한 이유

프로그램 검증기가 있는 작업에서는 최종 결과의 정답 여부를 직접 보상으로 바꿀 수 있다. 그러나 장기 에이전트는 계획 수립, 도구 호출, 환경 상호작용, 오류 복구를 여러 단계에 걸쳐 수행하며, 많은 영역에는 실행 가능한 성공 판정기가 없다. 이때 흔히 사용하는 방법은 전체 궤적이 끝난 뒤 루브릭 기반 평가를 통해 하나의 점수를 주는 것이다.

문제는 이 단일 점수가 수십 개의 행동을 충분히 구분하지 못한다는 점이다. 좋은 결과를 만든 결정과 거의 영향을 주지 않은 결정을 같은 방식으로 업데이트하면, 정책 학습에 필요한 신호가 희석된다. 어떤 단계가 성공 또는 실패의 원인이었는지 알려주는 세밀한 신용 할당이 필요하다.

DRACO(Distributing Rubric-based Advantage for Credit Optimization)는 이 문제를 다룬다. 논문이 상정한 환경은 학습 중 정답 성공 신호와 프로그램 검증기를 모두 사용할 수 없는 결과 비가시 설정이다.

DRACO의 작동 방식

• 동적 루브릭 생성: 고정된 평가표를 계속 사용하는 대신, 학습 과정에서 여러 평가 기준을 생성한다. 이를 통해 정책의 능력 변화에 맞춰 평가 관점을 조정할 수 있다.
• 궤적 전체 평가: 에피소드가 끝나면 생성된 기준에 따라 전체 궤적을 채점한다.
• 관련 단계로 신용 재분배: 각 기준에 책임이 있는 것으로 표시된 행동과 단계에 평가를 나누어, GRPO에 차별화된 advantage를 제공한다.
• 추가 귀속 모델 불필요: 재분배는 폐쇄형 계산으로 수행되므로 별도의 학습형 행동 귀속 모듈을 도입하지 않는다.

핵심은 보상 숫자를 단순히 늘리는 데 있지 않다. 평가 항목과 그 항목을 실제로 수행한 행동을 연결하는 것이다. 그 결과 긴 궤적 전체에 동일한 학습 신호를 뿌리는 대신, 결과와 관련된 의사결정에 더 집중할 수 있다.

결과와 영향

AppWorld에서 DRACO는 기본 모델보다 15.9포인트 향상됐고, 희소한 정답 보상으로 학습한 GRPO보다도 5.3포인트 높은 성능을 기록했다. DRACO 자체는 검증기를 사용하지 않는다. 분포 밖 평가인 Tau-Bench에서는 프런티어 모델 판정기가 없는 조건에서도 기본 모델보다 5.3포인트 높았으며, 정답 보상 학습과 다른 루브릭 기반 설정을 앞섰다고 보고됐다.

이는 장기 에이전트 강화학습의 문제가 보상의 존재 여부에만 있지 않다는 점을 보여준다. 보상이 결과를 만든 단계에 올바르게 전달되어야 한다. 동적 루브릭은 검증기가 없는 영역에서 행동을 구조적으로 평가하고, 신용 재분배는 그 평가를 정책 최적화에 적합한 단계별 신호로 바꾼다.

물론 루브릭의 품질과 평가의 일관성, 각 기준과 단계의 연결이 결과에 영향을 준다. DRACO가 주관적 평가의 위험을 없애는 것은 아니다. 대신 별도의 귀속 모델을 학습하지 않고도 거친 궤적 평가와 세밀한 정책 학습을 연결하는 간결한 방법을 제시한다. 도구 사용과 복합 업무 수행처럼 검증기가 부족한 환경에서 활용 가능성을 보여준다는 점이 의미 있다.

출처: Hugging Face Daily Papers