RLSVR: 개방형 LLM 과제를 자기 검증 가능한 강화학습 환경으로

도입

검증 가능한 보상을 활용하는 강화학습, 즉 RLVR은 최근 추론 중심 대형 언어모델 학습에서 중요한 방법으로 자리 잡았다. 수학 문제는 최종 답을 확인할 수 있고, 코드는 테스트를 실행해 맞고 틀림을 판단할 수 있다. 이처럼 보상이 명확하면 대규모 최적화가 비교적 안정적으로 가능하다.

하지만 모든 언어 과제가 이런 구조를 갖는 것은 아니다. 좋은 요약, 창의적인 글, 자유로운 응답은 하나의 정답으로 환원되기 어렵다. 그래서 기존에는 사람의 선호, 보상 모델, 또는 LLM 기반 평가자를 사용하는 경우가 많았다. 이 방식은 평가 편향, 평가자 모델의 성능 한계, 추가 추론 비용이라는 부담을 낳는다.

논문은 이 문제를 해결하기 위해 RLSVR(Reinforcement Learning with Self-Verifiable Rewards)을 제안한다. 핵심은 개방형 과제를 그대로 채점하는 대신, 자기 검증 가능한 보상이 생기는 환경으로 변환하는 것이다.

핵심 내용

• 직접 평가가 아닌 과제 변환: RLSVR은 개방형 출력에 주관적 점수를 매기지 않는다. 대신 내부 규칙과 결과가 명확한 대리 환경을 만들어 보상을 자동 생성한다.
• 자기지도학습과 유사한 발상: 자기지도학습이 데이터 자체에서 학습 신호를 만들듯, RLSVR은 변환된 과제 구조에서 보상 신호를 끌어낸다.
• SpyRL 구현: 저자들은 ‘누가 스파이인가’ 게임에서 영감을 받은 다중 에이전트 자기 대전 환경 SpyRL을 제시한다. 에이전트들은 비대칭 정보를 받고 같은 목표 과제를 수행한 뒤, 투표로 지정된 스파이를 찾아낸다.
• 검증 가능한 보상: 스파이의 정체는 환경에서 미리 정해져 있으므로, 투표가 성공했는지는 자동으로 판정할 수 있다. 별도 인간 평가자나 추가 LLM 판정자가 필요하지 않다.
• 출력 품질과의 연결: 에이전트가 만든 요약이나 글의 품질, 정보 표현 방식은 스파이를 드러내거나 숨기는 데 영향을 준다. 따라서 게임 결과는 언어 출력의 질과 간접적으로 연결된다.

의미와 영향

이 연구의 흥미로운 점은 개방형 과제를 “평가하기 어려운 대상”으로만 보지 않고, “검증 가능한 상호작용으로 재구성할 수 있는 대상”으로 본다는 데 있다. 이 접근이 확장 가능하다면 RLVR은 수학과 코드에 머무르지 않고, 요약·창작 같은 일반 생성 과제에도 적용될 수 있다.

논문은 텍스트 요약, 창작, 수학 추론에서 SpyRL을 실험했다고 설명한다. 제공된 자료에 따르면 SpyRL은 비검증 과제에서 기존 자기 개선 방법을 앞섰고, 검증 가능한 추론 과제에서도 일관된 향상을 보였다. 다만 구체적인 수치, 모델 규모, 학습 비용은 자료에 포함되어 있지 않으므로 세부 평가는 원문 확인이 필요하다.

결국 RLSVR은 LLM 자기 개선을 사람 평가나 외부 심판 모델에 덜 의존하게 만들 수 있는 하나의 설계 방향을 보여준다.

출처: Hugging Face Daily Papers