아티클 목록으로
AI 에이전트

행동은 서툴러도 가르칠 수 있다: 장기 에이전트의 결정 모델

약 3분 소요

들어가며

장기 과제를 수행하는 에이전트는 다음 행동을 고르는 것만으로 충분하지 않다. 이미 실행한 행동이 실제로 도움이 되었는지 판단해야 하며, 그 판단을 다른 정책의 학습에 사용할 수도 있다. 새로운 연구는 이 세 능력이 같은 결정 모델에서 나오더라도 서로 다른 방식으로 나타난다고 지적한다. 실행을 잘하지 못하는 모델도 좋은 교사가 될 수 있다는 것이다.

연구는 모델을 세 가지 역할로 나누어 평가했다. Actor는 현재 상태에서 행동을 선택한다. Judge는 전체 궤적을 확인한 뒤 이미 실행된 행동을 평가한다. Teacher는 후보 행동을 점수화해 강화학습용 단계별 신호를 만든다. Actor와 Judge 비교에는 ALFWorld를 사용했고, Teacher 실험에는 ALFWorld와 WebShop을 함께 사용했다.

핵심 결과

  • 실행 단계에서는 쉬운 목표에 끌렸다. 세 가지 결정 모델과 세 가지 일반 LLM은 ALFWorld의 Actor 실험에서 더 쉽게 달성할 수 있는 하위 목표를 선택했고, 먼저 해결해야 하는 전제 목표를 건너뛰었다. 눈앞의 편리함이 장기적인 과제 구조를 가린 셈이다.
  • 전체 궤적을 보면 평가가 달라졌다. 같은 모델이 Judge가 되어 에피소드 전체를 볼 수 있자, 전제 목표를 진전시킨 행동을 올바르게 평가했다. 행동 이후에 나타난 결과가 실행 당시에는 없던 정보를 제공한 것이다.
  • 성공 예측보다 진행 여부 판단이 유용했다. 전체 과제가 성공할지를 예측하게 하는 것보다, 각 행동이 과제에 도움이 되었는지를 묻는 방식이 유용한 행동과 무의미한 행동을 더 잘 구분했다. 이는 보상 신호를 중간 목표와 직접 연결하는 방법이 될 수 있다.
  • 교사 능력은 실행 능력과 별개였다. JEV가 제공하는 단계별 피드백으로 Qwen2.5-1.5B 정책을 학습한 결과, GRPO 대비 ALFWorld 성공률은 72.8%에서 82.9%로, WebShop은 56.8%에서 71.4%로 상승했다.

의미와 영향

Actor는 부분적인 정보만으로 앞으로의 결과를 예상해야 한다. 반면 Judge는 행동이 끝난 뒤 실제 결과를 참고할 수 있다. 따라서 실행 단계에서 약한 모델이 반드시 평가자나 교사로도 약하다고 볼 수 없다. 두 역할이 서로 다른 정보 조건에 놓이기 때문이다.

장기 에이전트 학습에서는 단독 과제 성공률이 가장 높은 모델만 교사로 선택할 필요가 없다는 의미다. 중간 단계에 대해 일관되고 과제 진행과 관련된 피드백을 제공하는지가 더 중요한 기준이 될 수 있다. 최종 성공 보상에만 의존하지 않고 행동별 신호를 제공하면 희소 보상 문제를 완화할 여지도 있다.

물론 사후 판단이 항상 정확한 것은 아니며, 더 복잡한 환경에서 같은 효과가 유지되는지는 추가 검증이 필요하다. 그럼에도 Actor, Judge, Teacher를 구분하는 관점은 에이전트의 실행, 평가, 감독 능력을 하나의 점수로 뭉뚱그리지 않고 분석하게 해준다는 점에서 의미가 있다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
멀티모달 에이전트의 자기 진화는 왜 시나리오를 넘어 확장되기 어려운가
AI 에이전트
cctest.ai
AI 에이전트

멀티모달 에이전트의 자기 진화는 왜 시나리오를 넘어 확장되기 어려운가

새로운 서베이는 멀티모달 추론, 생성, GUI·웹 탐색, 실제 환경 조작에서 자기 진화 에이전트의 작동 조건을 비교한다. 결과의 검증 가능성, 피드백의 충실도, 경험 생성 비용의 차이가 메커니즘의 전이 가능성을 좌우한다는 분석이다.

더 보기