NAVER AI Lab의 OPD²는 교사 모델의 전체 출력 분포를 그대로 따라 하지 않고, 추론 튜닝된 교사와 원래 베이스 모델 사이의 차이를 증류 신호로 사용한다. 논문은 수학, 과학, 코드 추론 벤치마크에서 기존 on-policy distillation보다 일관된 개선을 보였다고 설명한다.
더 보기이 논문은 체스를 통제된 실험 환경으로 삼아 사전학습의 선택이 강화학습 이후 추론 성능과 학습 효율에 어떤 영향을 주는지 분석합니다.
더 보기SEED는 완료된 on-policy 궤적을 자연어 기반 사후 스킬로 변환하고, 그 행동 효과를 정책 모델에 다시 증류하는 에이전트 강화학습 프레임워크다.
더 보기LongStraw는 백만 토큰급 추론과 상대적으로 짧은 RL 후학습 사이의 간극을 겨냥한다. 공유 프롬프트는 그래디언트 없이 처리하고 응답 분기를 하나씩 재실행해 메모리 사용을 낮춘다.
더 보기Ring-Zero는 인간이 주석한 추론 데이터를 쓰지 않고 검증 가능한 보상으로 추론 능력을 끌어내는 zero RL을 1T 파라미터 규모에서 탐구한다. 논문은 대규모화가 샘플 효율과 성능 상한을 높이고, 자기검증 같은 새로운 추론 행동을 만든다고 보고한다.
더 보기arXiv 논문이 LLM 사후학습에서 쓰이는 On-Policy Distillation의 역할과 실패 양상을 체계적으로 분석했다. 핵심은 OPD가 능력의 상한을 높이기보다, 올바른 추론 경로를 찾도록 탐색을 유도한다는 점이다.
더 보기이 논문은 GFlowNet 방식의 강화학습을 LLM 후처리 학습에 더 안정적으로 적용하기 위한 GFlowRL을 제안한다. 핵심은 학습되는 partition network를 제거하고 배치 내 몬테카를로 추정으로 대체하는 것이다.
더 보기이 arXiv 논문은 RL 사후학습 비용을 총 FLOPs 하나로 요약하는 관행의 한계를 짚는다. 고정된 예산에서 더 큰 모델, 더 긴 학습, 더 많은 rollout 탐색, 더 강한 보상 피드백 중 무엇에 계산을 배분해야 하는지를 분석한다.
더 보기새 arXiv 논문은 학습 중 발견한 고성능 회로 설정을 ‘등대’로 저장하고, 이후 강화학습 에피소드의 재시작 지점으로 활용하는 Lighthouse RL을 제안한다. 핵심 목표는 비용이 큰 아날로그 회로 크기 최적화에서 불필요한 탐색을 줄이는 것이다.
더 보기새 arXiv 논문은 수직 운동을 하는 도립진자 안정화 문제에서 리아푸노프 특성 지수를 물리 기반 밀집 보상으로 사용하는 방법을 제안한다. 보고에 따르면 에이전트는 Kapitza 진자의 진동 안정화뿐 아니라 축의 흔들림을 감쇠시켜 엄밀한 직립 상태까지 도달했다.
더 보기arXiv에 공개된 TRACE는 긴 도구 호출 경로에서 각 행동의 기여도를 추정하는 강화학습 방법이다. 동결된 참조 모델을 활용해 최종 정답 신호를 턴별 보상으로 바꾼다.
더 보기새 arXiv 논문 SIVA-RL은 이미지 개입의 종류가 아니라 실제 보상 변화에 따라 시각 정렬 신호를 배정한다. 목표는 비전-언어 모델이 답을 맞히는 데서 그치지 않고 이미지 증거에 근거해 추론하도록 만드는 것이다.
더 보기DAGR는 목표 조건 강화학습에서 흔한 한계, 즉 목표 임베딩이 현재 상태를 보지 않는 문제를 다룬다. OGBench 내비게이션에서는 개선을 보였지만 조작 및 puzzle 과제에서는 일관된 우위를 보이지 않았다.
더 보기