강화학습

Countdown 과제를 분석한 연구에 따르면 RLVR로 인한 해법 다양성 감소는 첫 번째 산술 연산 이전에 집중된다. 모델은 대안 경로를 실행할 수 있지만, 그 경로를 시작하는 빈도가 줄어든다.

장기 작업에서는 전체 궤적이 끝난 뒤 단 하나의 점수만 받는 경우가 많아, 어떤 행동이 결과에 기여했는지 알기 어렵다. DRACO는 동적 루브릭을 만들고 궤적 수준의 평가를 관련 단계에 재분배한다.

성진지능(Astribot)의 SmoothRL은 대규모 모델이 생성한 동작 묶음과 로봇이 실제로 수행한 동작 사이의 불일치를 해결하는 온라인 강화학습 프레임워크다. 실제로 실행된 동작만 학습에 반영해 비동기 추론 환경에 대응한다.

새로운 분석에 따르면 온폴리시 증류의 성능 향상은 교사 모델의 지식 전달보다 낮은 확률의 토큰을 억제하는 효과에서 비롯될 수 있다. 연구진은 이 관찰을 바탕으로 교사 없는 On-Policy Self-Adaptation을 제안했다.

KAIST AI가 제안한 J-Zero는 사람의 라벨링 데이터에 의존하지 않고 과제 생성, 문제 해결, 답변 평가를 함께 진화시키는 프레임워크입니다. 검증 가능한 과제와 검증이 어려운 과제를 모두 대상으로 하며, 후자에서 더 큰 개선 폭을 보고했습니다.

TTPO는 다수결 의사로 만든 의사 라벨을 무조건 정답으로 간주하지 않고, 이에 동의하는 추론과 동의하지 않는 추론에 서로 다른 학습 목표를 적용한다. 이를 통해 잘못된 다수결이 전체 교사 신호를 오염시키는 위험을 줄인다.

새 연구가 대규모 언어 모델 추론 후학습에서 진화 전략(ES)의 최적화 특성을 분석했다. ES는 Pass@1을 높이면서 더 넓은 해법을 유지하고 Pass@K에서 GRPO를 앞설 수 있는 것으로 나타났다.

WarpSAC은 오프폴리시 강화학습에서 모든 학습 환경에 동일한 안정화 기법을 적용할 필요가 없다고 주장한다. 제한된 CPU 학습과 대규모 GPU 병렬 학습을 위해 서로 다른 SAC 구성을 제시했다.

Co-RL은 파라미터를 공유하지 않는 여러 모델이 서로의 피드백에서 보상을 얻도록 하는 다중 에이전트 강화학습 프레임워크입니다. 정답 라벨 없이도 텍스트와 멀티모달 추론 성능을 높이고 자기 보상 학습의 붕괴 위험을 완화합니다.

Agent Lightning v1.0은 도구 호출과 컨텍스트, 제어 흐름을 관리하는 배포 시점의 에이전트 하니스를 모델 후학습에 직접 참여시키는 방식을 제안한다. 6,000개 학습 예제와 비교적 적은 컴퓨팅으로 Qwen3.5-9B의 SWE-bench Verified 점수를 41.8%에서 56.4%로 높였다.

DAPD 논문은 온폴리시 자기 증류에서 발생하는 성능 저하를 교사와 학생이 접근할 수 있는 정보의 비대칭 문제로 설명합니다. 두 단계의 앵커링을 통해 추론 시 재현할 수 없는 특권 의존 행동이 학생에게 전달되는 것을 줄이려 합니다.

난징대 연구진은 RLVR 기반 긴 CoT 학습에서 token 단위 신용 할당 문제를 분석했다. 큰 확률 변화가 실제 추론 기여가 아니라 대체 가능한 표면 표현의 민감도를 반영하는 경우가 많다는 점을 지적한다.

Rubric 기반 강화학습은 개방형 LLM 과제에서 유망하지만, 기준별 신호가 학습 과정에서 사라질 수 있다. CriPO는 미탐색 기준과 억제된 기준을 함께 다루는 on-policy 자기 증류 프레임워크다.

SAF-OPD는 검증 가능한 보상 기반 강화학습과 온폴리시 증류를 단순히 고정 비율로 섞을 때 발생하는 불안정성을 다룬다. 교사 신호의 크기와 적용 시점을 조절해 탐색 능력을 보존하는 것이 핵심이다.

이 논문은 수학·코딩처럼 정답 검증이 쉬운 영역에 강했던 RLVR을 개방형 생성 과제로 확장하려 한다. RLSVR은 과제를 변환해 환경 내부 규칙과 상호작용 결과에서 자동으로 보상을 얻는 방식을 제안한다.

Skill Self-Play는 검증 가능한 agent 스킬을 중심에 두고 LLM의 자기 진화를 더 안정적으로 만들려는 프레임워크다. 제안자, 해결자, 동적 스킬 컨트롤러가 강화학습 루프 안에서 함께 진화한다.

Molt는 에이전트형 강화학습 연구에서 반복적인 알고리즘 수정과 rollout 변경에 따른 엔지니어링 부담을 줄이기 위해 설계된 PyTorch 네이티브 프레임워크다. 간결한 코드베이스를 유지하면서 비동기 훈련, 멀티모달 정책, MoE 정책을 지원한다.

이 논문은 RLVR이 모델의 특이값 스펙트럼을 크게 다시 쓰기보다, 입력·출력 특이 프레임의 변화를 통해 새 능력을 획득한다고 설명한다. 이를 바탕으로 고정 스펙트럼 최적화 스택인 ISO를 제안한다.

비동기 강화학습은 처리량을 높이지만, rollout을 만든 정책과 학습 시점의 정책 사이에 지연과 불일치가 생긴다. SAT는 이 staleness를 반영해 PPO식 클리핑 구간을 선택적으로 조정한다.

Distilled Reinforcement Learning은 결과 보상에 의존하는 강화학습과 교사 분포를 무조건 모방하는 온라인 증류 사이의 간극을 겨냥한다. 교사 모델의 선호를 토큰 수준의 정책 그래디언트에 선택적으로 반영한다.

GEPO는 GRPO를 가볍게 확장해 prompt 그룹의 엔트로피를 기준으로 advantage를 비대칭적으로 조정한다. 서로 다른 탐색 수준이 필요한 혼합 태스크 학습에서 더 균형 잡힌 최적화를 노린다.