강화학습

Ring-Zero는 인간이 주석한 추론 데이터를 쓰지 않고 검증 가능한 보상으로 추론 능력을 끌어내는 zero RL을 1T 파라미터 규모에서 탐구한다. 논문은 대규모화가 샘플 효율과 성능 상한을 높이고, 자기검증 같은 새로운 추론 행동을 만든다고 보고한다.

이 arXiv 논문은 RL 사후학습 비용을 총 FLOPs 하나로 요약하는 관행의 한계를 짚는다. 고정된 예산에서 더 큰 모델, 더 긴 학습, 더 많은 rollout 탐색, 더 강한 보상 피드백 중 무엇에 계산을 배분해야 하는지를 분석한다.

arXiv 논문이 LLM 사후학습에서 쓰이는 On-Policy Distillation의 역할과 실패 양상을 체계적으로 분석했다. 핵심은 OPD가 능력의 상한을 높이기보다, 올바른 추론 경로를 찾도록 탐색을 유도한다는 점이다.

이 논문은 GFlowNet 방식의 강화학습을 LLM 후처리 학습에 더 안정적으로 적용하기 위한 GFlowRL을 제안한다. 핵심은 학습되는 partition network를 제거하고 배치 내 몬테카를로 추정으로 대체하는 것이다.

새 arXiv 논문은 학습 중 발견한 고성능 회로 설정을 ‘등대’로 저장하고, 이후 강화학습 에피소드의 재시작 지점으로 활용하는 Lighthouse RL을 제안한다. 핵심 목표는 비용이 큰 아날로그 회로 크기 최적화에서 불필요한 탐색을 줄이는 것이다.

새 arXiv 논문은 수직 운동을 하는 도립진자 안정화 문제에서 리아푸노프 특성 지수를 물리 기반 밀집 보상으로 사용하는 방법을 제안한다. 보고에 따르면 에이전트는 Kapitza 진자의 진동 안정화뿐 아니라 축의 흔들림을 감쇠시켜 엄밀한 직립 상태까지 도달했다.

arXiv에 공개된 TRACE는 긴 도구 호출 경로에서 각 행동의 기여도를 추정하는 강화학습 방법이다. 동결된 참조 모델을 활용해 최종 정답 신호를 턴별 보상으로 바꾼다.

새 arXiv 논문 SIVA-RL은 이미지 개입의 종류가 아니라 실제 보상 변화에 따라 시각 정렬 신호를 배정한다. 목표는 비전-언어 모델이 답을 맞히는 데서 그치지 않고 이미지 증거에 근거해 추론하도록 만드는 것이다.

DAGR는 목표 조건 강화학습에서 흔한 한계, 즉 목표 임베딩이 현재 상태를 보지 않는 문제를 다룬다. OGBench 내비게이션에서는 개선을 보였지만 조작 및 puzzle 과제에서는 일관된 우위를 보이지 않았다.