Lean4AgenticRL, 검증 가능한 다층 보상으로 에이전트 강화학습 개선

들어가며

소프트웨어 엔지니어링이나 터미널 작업을 수행하는 LLM 에이전트는 최종 답만 잘 내면 되는 것이 아닙니다. 과제를 해석하고, 적절한 도구를 선택하고, 도구의 출력을 읽은 뒤, 여러 단계의 작업을 계속 조정해야 합니다. 그러나 현재의 에이전트 강화학습은 최종 결과에 기반한 보상에 크게 의존하는 경우가 많습니다. 그 결과 도구 호출의 적절성이나 중간 워크플로 단계의 진행 여부에 대한 학습 신호가 충분하지 않을 수 있습니다.

arXiv에 공개된 Lean4AgenticRL은 이 문제를 형식 방법론으로 다루는 프레임워크입니다. Lean4를 통일된 형식화 체계로 활용해 오픈엔드 에이전트 강화학습에 다층 프로세스 보상을 적용합니다. 논문에서는 이 방법으로 LAR-9B와 LAR-27B를 학습해 소프트웨어 및 일반 터미널 작업 능력을 평가했습니다.

핵심 내용

• 보상을 여러 수준으로 분리. 최종 작업 성공 여부뿐 아니라 저수준 도구 호출과 중간 수준의 워크플로 단계도 평가합니다.
• 문제별 워크플로를 설계. 각 문제에 맞는 실행 절차를 구성해 에이전트의 자체 역량과 실행 통제 가능성 사이의 균형을 추구합니다.
• 형식화와 행동 검증을 연결. 워크플로를 형식적으로 표현하고, 범용 하니스를 통해 에이전트 행동을 검증한 뒤 보상 주석으로 활용합니다.
• 단계 정규화 GRPO를 적용. 다층 보상을 workflow-stage-normalized GRPO에 결합해 서로 다른 워크플로 단계의 신호를 학습에 반영합니다.
• 터미널 벤치마크 결과를 제시. LAR-27B는 TerminalBench-2.1에서 77.3%를 기록했습니다. LAR-9B와 LAR-27B는 기반 모델보다 평균 9.89% 높았고, 저자들이 확인한 비슷한 규모의 두 번째로 높은 모델보다 5.07% 앞섰다고 논문은 설명합니다.

의미와 남은 과제

Lean4AgenticRL의 핵심은 에이전트의 성공 여부를 하나의 결과값으로만 보지 않는 데 있습니다. 긴 작업이 실패했을 때 원인이 잘못된 도구 선택인지, 워크플로 단계 전환의 문제인지, 마지막 단계에서 발생한 오류인지 구분할 수 있다면 학습 신호를 더 구체적으로 설계할 수 있습니다. 다층 보상은 이러한 차이를 학습 과정에 반영하려는 시도입니다.

Lean4를 사용했다는 점도 주목할 만합니다. 형식 방법론을 프로그램 검증이나 수학적 추론에만 적용하는 것이 아니라, 도구를 사용하는 개방형 에이전트의 행동 감독에도 활용하려는 방향이기 때문입니다. 형식화된 워크플로가 안정적으로 구축된다면 장기 작업의 실행 과정을 분석하고 통제하는 데 도움을 줄 가능성이 있습니다.

다만 제공된 자료만으로는 이 방법이 다양한 작업 유형과 워크플로 설계에 얼마나 잘 일반화되는지, 더 큰 모델에서도 안정적인지 판단하기 어렵습니다. 문제별 워크플로를 만드는 비용, 행동 검증에 필요한 계산량, 형식화가 에이전트의 자유로운 탐색을 제한할 가능성도 후속 연구에서 확인해야 합니다.

종합하면 Lean4AgenticRL은 형식 검증, 프로세스 보상, 에이전트 강화학습을 결합해 장시간 도구 사용에서 발생하는 희소 보상 문제를 다루는 구체적인 접근법을 제시합니다.

출처: arXiv