강화학습

출력 형식의 제약만 만족하면 실질적인 답변이 거의 없어도 높은 점수를 받을 수 있다는 연구 결과가 나왔다. 연구진은 추가 심사 모델 없이 참조 정책의 가능도를 활용해 이 문제를 완화하는 CALIF를 제안했다.

ACCRUE는 로봇 파운데이션 모델에 지속형 오프폴리시 강화학습을 적용하는 프레임워크입니다. 경량 actor-critic과 소량의 과거 리플레이를 작업 간에 계승해 새 기술 학습 속도를 높이고 망각을 줄입니다.

체크리스트 점수를 단순 합산하면 모델이 핵심 판단을 놓치고도 불필요한 정보를 추가해 높은 보상을 받을 수 있습니다. ProRubric은 관련 조건을 하나의 프로토콜 단위로 묶어 이런 보상 해킹을 줄입니다.

KlingAI Research가 프롬프트별 보상 개선 방향을 집계하고 모델 드리프트에 맞춰 복원하는 DiffusionART를 제안했습니다. 이미지와 영상 생성 실험에서 경쟁 방법과 비슷하거나 더 높은 보상 수준에 훨씬 적은 GPU 시간으로 도달했다고 보고했습니다.

TIPS는 최종 판단의 정답 여부만 보상으로 사용해 생성형 프로세스 보상 모델을 학습합니다. 결과 라벨 궤적 3,200개만으로 ProcessBench에서 85.2 F1을 기록했습니다.

샤오미가 MiMo-V2.6의 후훈련 과정을 공개했습니다. 한 번의 RL 스텝에서 수십억 토큰이 생성되고, Pro의 후훈련 비용은 약 260만 달러에 달했습니다. 핵심은 단순한 연산량 확대가 아니라 평가기, 환경, Harness, MoE 안정성을 함께 확장한 데 있습니다.

MiMo-V2.6 기술 보고서는 멀티모달 기반 모델의 강화학습을 처리량, 환경, 평가 시스템, 운영 인프라 전반에서 확장하는 방법을 소개한다.

Self-Retrospection Distillation(SRD)은 에이전트가 작업을 마친 뒤 얻은 궤적을 활용해 행동 전에 예상해야 할 함정과 어려움을 학습시킵니다. 그룹 내 보상이 모두 같아지는 강화학습에서도 궤적에 남은 정보를 학습 신호로 되살리는 접근입니다.

추론 모델이 스스로 만든 문제는 학습에 활용될 수 있지만, 잘못된 문제와 수학적으로 반복되는 변형이 누적되면 성능이 붕괴할 수 있다. R-Quest는 유효성과 새로움 피드백으로 이 문제를 완화한다.

TRACE는 MoE 언어 모델 강화학습에서 발생하는 학습 경로와 Rollout 경로의 양자화 불일치를 줄이는 프레임워크입니다. Rollout 측 결과로 학습 측 FP4 반올림을 유도해 BF16에 가까운 성능과 최대 5.4배의 Rollout 가속을 보고했습니다.

서로 다른 토크나이저를 사용하는 교사와 학생 모델의 온폴리시 증류에서는 정렬 범위를 넓힌다고 성능이 자동으로 좋아지지 않는다. 엄격하게 대응되는 위치에서 안정적인 감독 신호를 제공하는 편이 더 효과적일 수 있다.

NeMo-DCR은 학습 클러스터와 rollout 클러스터 사이에서 변경된 가중치만 전송하면서도 전체 체크포인트 로딩과 비트 단위로 동일한 결과를 보장합니다. 1조 파라미터 모델에서 변경률 3%를 적용한 테스트에서는 refit 시간이 87.5분에서 2.5분으로 줄었습니다.

HuatuoGPT-3는 교사 모델의 출력을 영구적인 모방 대상이 아닌 일시적 지침으로 활용하는 OnePO를 제안한다. 논문 초록에 따르면 27B 모델은 HealthBench Professional에서 71.4점을 기록했다.

LoGRA는 대규모 언어 모델 강화학습에서 유용한 그래디언트 신호를 저랭크 스케치로 저장하고, 예측 KL 기반 스텝 제어를 결합한 방법입니다. 논문 요약에 따르면 추론 과제에서 평균 학습 메모리를 최대 45.7% 줄였습니다.

여러 플로우 기반 VLA 모델을 분석한 연구에서 강화학습에 따른 변화가 액션 전문가 내부의 작은 Timestep Modules에 집중되는 것으로 나타났다. shift 벡터 업데이트는 작업 성공과 전이 관계까지 반영했다.

온라인 정책 증류가 서로 다른 규모의 모델 사이에서 추론 능력을 어떻게 전달하는지 체계적으로 분석한 연구입니다. 소형 강화학습 전문가도 더 큰 학생 모델을 개선할 수 있으며, 교사의 규모와 점수만으로는 감독 가치가 결정되지 않는다는 결과를 제시합니다.

RLVR은 제한된 롤아웃에서 모든 답이 틀리면 유효한 보상 신호를 얻기 어렵습니다. GRAFT는 다른 모델이 발견한 궤적을 공유하면서 오프폴리시 불일치를 제어해 이 문제를 완화합니다.

RLVR에서는 롤아웃을 생성하는 추론 엔진과 그래디언트를 계산하는 학습 엔진이 같은 토큰에 서로 다른 확률을 부여할 수 있습니다. 새 기법 CIS는 토큰 신뢰도를 반영한 중요도 샘플링으로 이 차이가 정책 업데이트에 미치는 영향을 줄입니다.

칭화대 NLP 그룹이 보상 모델링을 단일 값 예측이 아닌 조건부 밀도 추정으로 다루는 Diffusion Reward Model, DRM을 제안했다.

Qwen이 극단적으로 긴 작업을 위한 온라인 강화학습 프레임워크 QwenGyre를 공개했다. 롤아웃과 학습 사이에서 GPU를 탄력적으로 재배치하고, 분기 이력과 중복 궤적을 처리하는 것이 핵심이다.

VLA-Precision은 시각-언어-행동 모델을 실세계에서 온라인 강화학습할 때 발생하는 정책 드리프트와 대규모 모델의 처리 부담을 다룬다. ACoB 알고리즘과 ACoB-Stream 아키텍처를 결합해 정밀 조작을 위한 학습 안정성과 처리 효율을 높이는 접근이다.