Agent Lightning v1.0, 에이전트 하니스를 강화학습에 연결하다

들어가며

검색이나 코드 실행, 외부 도구 사용이 가능한 에이전트는 LLM 하나만으로 구성되지 않는다. 어떤 도구를 언제 호출할지, 이전 결과를 어떻게 컨텍스트에 넣을지, 다음 단계를 어떻게 결정할지는 에이전트 하니스가 관리한다. Agent Lightning v1.0은 실제 배포에 사용되는 이 하니스를 강화학습에 어떻게 연결할지 탐구한다.

핵심 내용

• 하니스를 후학습의 일부로 본다. 논문은 이 방식을 “harnessed agentic RL”이라고 부른다. 전통적인 에이전트 강화학습에서는 학습 엔진이 환경 상호작용 루프를 통제하지만, 이 구조에서는 하니스가 상호작용을 진행하고 트레이너는 LLM 요청-응답 시퀀스만 관찰한다.
• LLM 엔드포인트 프록시로 연결한다. Agent Lightning은 LLM 호출을 중계하는 프록시를 통해 임의의 에이전트 하니스와 RL 학습 시스템을 연결한다. 배포용 에이전트의 제어 로직을 학습 전용 구조에 맞게 크게 다시 작성하지 않아도 된다는 점이 장점이다.
• 데이터 구성과 실행 방식이 중요하다. 여러 번의 LLM 호출을 어떻게 재토큰화하고 하나의 학습 샘플로 합칠지 결정해야 한다. 또한 어드밴티지를 각 호출에 어떻게 계산할지, 손실을 어떻게 정규화할지, 학습 백엔드를 어떻게 스케줄링할지도 정해야 한다. 이런 선택이 부적절하면 학습이 불안정하거나 효과가 낮아질 수 있다.
• 작고 재현 가능한 프레임워크를 지향한다. 약 3,500줄의 코드로 구성되며, 지시 수행·검색·코딩 에이전트를 지원한다. 코딩 에이전트 실험을 위해 데이터 정제 파이프라인과 전체 학습 스크립트도 제공한다.

의미와 영향

코딩 에이전트 실험에서 연구진은 6,000개의 학습 예제와 비교적 적은 컴퓨팅 자원을 사용했다. 그 결과 Qwen3.5-9B의 SWE-bench Verified 점수는 41.8%에서 56.4%로 상승했으며, 절대 기준 14.6%포인트 개선됐다. 이는 코드 에이전트 강화학습이 반드시 대규모 전용 인프라에만 의존해야 하는 것은 아닐 수 있음을 보여준다.

더 큰 의미는 에이전트 하니스를 단순한 실행 보조 소프트웨어가 아니라 학습 시스템의 핵심 요소로 다룬 데 있다. 다단계 도구 사용과 동적으로 변하는 컨텍스트에서는 단순한 입출력 로그만으로 각 호출의 기여도를 판단하기 어렵다. Agent Lightning은 이런 문제를 실험할 수 있는 간결한 테스트베드를 제시한다.

다만 제공된 자료만으로 모든 모델과 작업, 하니스에서 동일한 성능이 재현된다고 결론 내릴 수는 없다. 다양한 하니스와 보상 설계, 학습 백엔드에서의 추가 비교가 실제 범용성을 확인하는 다음 단계가 될 것이다.

출처: Hugging Face Daily Papers