강화학습

새 연구가 대규모 언어 모델 추론 후학습에서 진화 전략(ES)의 최적화 특성을 분석했다. ES는 Pass@1을 높이면서 더 넓은 해법을 유지하고 Pass@K에서 GRPO를 앞설 수 있는 것으로 나타났다.

TTPO는 다수결 의사로 만든 의사 라벨을 무조건 정답으로 간주하지 않고, 이에 동의하는 추론과 동의하지 않는 추론에 서로 다른 학습 목표를 적용한다. 이를 통해 잘못된 다수결이 전체 교사 신호를 오염시키는 위험을 줄인다.

WarpSAC은 오프폴리시 강화학습에서 모든 학습 환경에 동일한 안정화 기법을 적용할 필요가 없다고 주장한다. 제한된 CPU 학습과 대규모 GPU 병렬 학습을 위해 서로 다른 SAC 구성을 제시했다.

Co-RL은 파라미터를 공유하지 않는 여러 모델이 서로의 피드백에서 보상을 얻도록 하는 다중 에이전트 강화학습 프레임워크입니다. 정답 라벨 없이도 텍스트와 멀티모달 추론 성능을 높이고 자기 보상 학습의 붕괴 위험을 완화합니다.

Agent Lightning v1.0은 도구 호출과 컨텍스트, 제어 흐름을 관리하는 배포 시점의 에이전트 하니스를 모델 후학습에 직접 참여시키는 방식을 제안한다. 6,000개 학습 예제와 비교적 적은 컴퓨팅으로 Qwen3.5-9B의 SWE-bench Verified 점수를 41.8%에서 56.4%로 높였다.

DAPD 논문은 온폴리시 자기 증류에서 발생하는 성능 저하를 교사와 학생이 접근할 수 있는 정보의 비대칭 문제로 설명합니다. 두 단계의 앵커링을 통해 추론 시 재현할 수 없는 특권 의존 행동이 학생에게 전달되는 것을 줄이려 합니다.

SAF-OPD는 검증 가능한 보상 기반 강화학습과 온폴리시 증류를 단순히 고정 비율로 섞을 때 발생하는 불안정성을 다룬다. 교사 신호의 크기와 적용 시점을 조절해 탐색 능력을 보존하는 것이 핵심이다.

난징대 연구진은 RLVR 기반 긴 CoT 학습에서 token 단위 신용 할당 문제를 분석했다. 큰 확률 변화가 실제 추론 기여가 아니라 대체 가능한 표면 표현의 민감도를 반영하는 경우가 많다는 점을 지적한다.

Rubric 기반 강화학습은 개방형 LLM 과제에서 유망하지만, 기준별 신호가 학습 과정에서 사라질 수 있다. CriPO는 미탐색 기준과 억제된 기준을 함께 다루는 on-policy 자기 증류 프레임워크다.

이 논문은 수학·코딩처럼 정답 검증이 쉬운 영역에 강했던 RLVR을 개방형 생성 과제로 확장하려 한다. RLSVR은 과제를 변환해 환경 내부 규칙과 상호작용 결과에서 자동으로 보상을 얻는 방식을 제안한다.

Molt는 에이전트형 강화학습 연구에서 반복적인 알고리즘 수정과 rollout 변경에 따른 엔지니어링 부담을 줄이기 위해 설계된 PyTorch 네이티브 프레임워크다. 간결한 코드베이스를 유지하면서 비동기 훈련, 멀티모달 정책, MoE 정책을 지원한다.

Skill Self-Play는 검증 가능한 agent 스킬을 중심에 두고 LLM의 자기 진화를 더 안정적으로 만들려는 프레임워크다. 제안자, 해결자, 동적 스킬 컨트롤러가 강화학습 루프 안에서 함께 진화한다.

이 논문은 RLVR이 모델의 특이값 스펙트럼을 크게 다시 쓰기보다, 입력·출력 특이 프레임의 변화를 통해 새 능력을 획득한다고 설명한다. 이를 바탕으로 고정 스펙트럼 최적화 스택인 ISO를 제안한다.

비동기 강화학습은 처리량을 높이지만, rollout을 만든 정책과 학습 시점의 정책 사이에 지연과 불일치가 생긴다. SAT는 이 staleness를 반영해 PPO식 클리핑 구간을 선택적으로 조정한다.

GEPO는 GRPO를 가볍게 확장해 prompt 그룹의 엔트로피를 기준으로 advantage를 비대칭적으로 조정한다. 서로 다른 탐색 수준이 필요한 혼합 태스크 학습에서 더 균형 잡힌 최적화를 노린다.

이 논문은 LLM의 판정자 역할을 코치 역할로 확장해, 점수 하나가 아니라 재사용 가능한 경험 지식을 학습 신호로 삼는다. 검증이 어려운 개방형 과제에서 더 촘촘한 피드백을 활용하려는 접근이다.

Distilled Reinforcement Learning은 결과 보상에 의존하는 강화학습과 교사 분포를 무조건 모방하는 온라인 증류 사이의 간극을 겨냥한다. 교사 모델의 선호를 토큰 수준의 정책 그래디언트에 선택적으로 반영한다.

SVR-R1은 추론 단계의 자기 점검을 강화학습 훈련 루프 안으로 끌어들인 프레임워크다. 모델은 답을 낸 뒤 스스로 Yes/No 판단을 하고, No라면 다시 생각한다.

Agon은 비슷한 실력과 다른 행동 특성을 가진 두 모델을 같은 문제에서 경쟁시켜, 서로를 추론 품질의 암묵적 평가자로 활용하는 강화학습 방식이다.

이 논문은 RLVR에서 흔히 쓰이는 엔트로피 기반 advantage shaping이 유용한 불확실성과 해로운 혼란을 구분하지 못한다는 점을 지적한다. Contrastive Policy Optimization은 참조 유도 생성과 일반 생성의 token 단위 분포 차이를 활용해 더 정확성에 가까운 학습 신호를 만든다.

이 논문은 Muon을 희소 보상 에이전트 강화학습에 적용해, 성능 향상이 옵티마이저 자체뿐 아니라 advantage estimator와 learning rate에 크게 좌우된다는 점을 보여준다.