Mosaic, 멀티 세션 에이전트 강화학습의 신용 할당을 개선하다

대규모 언어모델 에이전트의 실행 구조는 점점 복잡해지고 있다. 긴 컨텍스트를 그대로 이어 가는 대신 이전 정보를 압축한 뒤 새 세션에서 작업을 계속할 수 있고, 서브에이전트를 여러 갈래로 분기해 서로 다른 조사 경로를 탐색할 수도 있다. 이 경우 하나의 롤아웃은 고정된 하나의 세션이 아니라 여러 세션으로 구성된다. 그러나 기존 에이전트 강화학습은 여전히 단일 세션 궤적을 기본 단위로 삼는 경우가 많다.

모든 세션에 같은 신호를 주는 한계

멀티 세션 궤적에서 가장 단순한 방법은 최종 결과의 어드밴티지를 모든 세션에 브로드캐스팅하는 것이다. 작업이 성공하면 각 세션에 긍정적 신호를 주고, 실패하면 모두에 부정적 신호를 준다. 구현은 쉽지만 세션마다 역할과 기여가 다르다는 사실을 반영하지 못한다. 중복된 세션이 포함되었는지, 추가 세션을 더 할당할 가치가 있는지도 학습하기 어렵다.

논문은 이를 Multi-Session Agentic Reinforcement Learning이라는 일반화된 설정으로 정리하고, Mosaic이라는 크리틱 없는 계층적 최적화 방법을 제시한다. 핵심 구성은 다음과 같다.

• 궤적 수준 조정: 성공 및 실패 그룹 안에서 상대적인 세션 수를 고려해 결과 기반 어드밴티지를 수정한다.
• 세션 수준 신호: 정답의 로그우도가 세션 전후에 어떻게 변했는지 분석해 해당 세션의 한계 정보 이득을 추정한다.
• 유형 조건 정규화: 세션 유형별로 신호를 정규화해 서로 다른 역할을 가진 세션 간 비교에서 생기는 편향을 줄인다.
• 계층적 결합: 궤적 결과와 세션별 기여 추정치를 합쳐 각 학습 세그먼트에 더 세밀한 어드밴티지를 부여한다.

실험 결과와 의미

평가는 고난도 웹 리서치 벤치마크 BrowseComp에서 진행됐으며, Qwen3.5-4B와 ReAct 스타일 에이전트 루프를 사용했다. 컨텍스트 압축과 서브에이전트 포킹 실행 방식 모두에서 Mosaic은 모든 세션에 같은 신호를 주는 기준선보다 좋은 결과를 보였고, 평균 세션 사용량도 더 적었다. 추가 분석은 성능 향상이 단순히 더 많은 세션을 호출했기 때문이 아니라 세션의 효용과 배분 방식이 개선된 데서 비롯될 가능성을 보여준다.

Mosaic의 핵심 의미는 에이전트 강화학습에서 학습해야 할 행동 단위를 다시 정의했다는 점이다. 세션이 압축되고, 재시작되고, 분기될 수 있다면 시스템은 “과제가 성공했는가”뿐 아니라 “어떤 세션이 기여했는가”, “그 세션을 사용하는 비용이 정당했는가”도 판단해야 한다. 이 접근은 세션 스케줄링과 신용 할당을 함께 최적화할 수 있는 방향을 제시한다. 다만 현재 근거는 특정 웹 리서치 벤치마크와 모델, 실행 구성에 집중되어 있으므로 다양한 과제와 오케스트레이션 방식에서의 일반화 여부는 추가 검증이 필요하다.

출처: Hugging Face Daily Papers