강화학습

도구 호출 에이전트는 구조화된 호출과 자연어 요약을 한 궤적에서 생성합니다. SLCA-GRPO는 서로 다른 보상 신호를 출력 세그먼트별로 분리해 한 영역의 학습 잡음이 다른 영역으로 번지는 문제를 줄입니다.

Rufus-Air는 GLM-4.5-Air-Base를 기반으로 한 8단계 오픈 후훈련 레시피를 제시한다. 핵심은 모델 성능뿐 아니라 데이터, 보상, 단계 순서, 인프라를 하나의 재현 가능한 공정으로 묶었다는 점이다.

Bellman Policy Optimization(BPO)은 종료 보상을 사용하는 자기회귀 생성 모델을 위한 비평자 없는 정책 최적화 방법입니다. 정책 미러 하강을 궤적 수준의 목적함수로 재구성하고, 보완 토큰 확률의 평활화 비율로 정책 불일치를 보정합니다.

Shopify는 GraphQL 에이전트의 운영 실패를 학습 신호로 바꾸는 지속 학습 루프를 구축했다. 프런티어 모델을 웃도는 품질을 목표로 하면서 서빙 비용은 96% 줄였다고 설명한다.

새 연구는 추론 모델이 답할 수 없는 과제에서 답할 수 있는 과제보다 더 많은 계산을 사용하는 경향이 있다고 밝혔다. 효율적인 추론을 장려하는 GRPO 보상은 거부 응답 성능을 높이는 동시에 사고 사슬을 줄였다.

마이크로소프트 연구진이 문제 난이도에 따라 추론 깊이를 조절하는 When2Think를 제안했다. 쉬운 문제에는 직접 답하고 어려운 문제에는 더 긴 추론을 유지해 정확도와 효율을 함께 높이는 것이 목표다.

샤오미가 MiMo-V2.6 Flash와 Pro의 강화학습 과정을 공개했다. 보상 곡선과 비용, GPU 장애까지 확인할 수 있으며 에이전트 강화학습을 확장하는 세 가지 축도 제시했다.

새 연구는 LLM 강화학습에서 쉬운 문제일수록 더 크게 향상되는 ‘마태 효과’를 발견했다. Never Give Up은 정답을 찾지 못한 문제에 샘플 생성과 계산 자원을 집중하는 적응형 방법이다.

DPO는 선호 비교 결과가 모두 정확하다고 가정하지만, 실제 데이터에는 뒤집힌 라벨과 차이가 약한 쌍, 판단하기 어려운 쌍이 섞여 있습니다. PLC-DPO는 정책과 참조 모델의 보정된 마진을 활용해 각 쌍을 정상 강화, 방향 반전, 동률 처리로 분기합니다.

RadixArk가 대규모 모델 후훈련을 겨냥한 오픈소스 풀스택 시스템 Miles v0.1을 공개했다. 롤아웃, 학습, 가중치 동기화를 하나의 구조로 묶고 검증 가능성, 효율성, 확장성을 강조한다.

강한 학생 모델이 약한 교사를 그대로 모방하지 않고 교사의 개선 방향만 활용하도록 하는 방법이 제안됐다. OPRD는 검증기가 지지하는 정책 업데이트만 증폭해 학생의 최적화 목표를 유지한다.

FlowBalance는 종단 검증기의 희소한 결과 신호와 동일 모델이 생성한 조밀한 자기 피드백을 결합하는 방법입니다. 전체 응답 궤적을 재가중해 실패한 추론에 대한 잘못된 자기 지도가 강화되는 문제를 줄입니다.

장기 작업에서는 전체 궤적이 끝난 뒤 단 하나의 점수만 받는 경우가 많아, 어떤 행동이 결과에 기여했는지 알기 어렵다. DRACO는 동적 루브릭을 만들고 궤적 수준의 평가를 관련 단계에 재분배한다.

Countdown 과제를 분석한 연구에 따르면 RLVR로 인한 해법 다양성 감소는 첫 번째 산술 연산 이전에 집중된다. 모델은 대안 경로를 실행할 수 있지만, 그 경로를 시작하는 빈도가 줄어든다.

성진지능(Astribot)의 SmoothRL은 대규모 모델이 생성한 동작 묶음과 로봇이 실제로 수행한 동작 사이의 불일치를 해결하는 온라인 강화학습 프레임워크다. 실제로 실행된 동작만 학습에 반영해 비동기 추론 환경에 대응한다.

새로운 분석에 따르면 온폴리시 증류의 성능 향상은 교사 모델의 지식 전달보다 낮은 확률의 토큰을 억제하는 효과에서 비롯될 수 있다. 연구진은 이 관찰을 바탕으로 교사 없는 On-Policy Self-Adaptation을 제안했다.

KAIST AI가 제안한 J-Zero는 사람의 라벨링 데이터에 의존하지 않고 과제 생성, 문제 해결, 답변 평가를 함께 진화시키는 프레임워크입니다. 검증 가능한 과제와 검증이 어려운 과제를 모두 대상으로 하며, 후자에서 더 큰 개선 폭을 보고했습니다.

새 연구가 대규모 언어 모델 추론 후학습에서 진화 전략(ES)의 최적화 특성을 분석했다. ES는 Pass@1을 높이면서 더 넓은 해법을 유지하고 Pass@K에서 GRPO를 앞설 수 있는 것으로 나타났다.

TTPO는 다수결 의사로 만든 의사 라벨을 무조건 정답으로 간주하지 않고, 이에 동의하는 추론과 동의하지 않는 추론에 서로 다른 학습 목표를 적용한다. 이를 통해 잘못된 다수결이 전체 교사 신호를 오염시키는 위험을 줄인다.

WarpSAC은 오프폴리시 강화학습에서 모든 학습 환경에 동일한 안정화 기법을 적용할 필요가 없다고 주장한다. 제한된 CPU 학습과 대규모 GPU 병렬 학습을 위해 서로 다른 SAC 구성을 제시했다.

Co-RL은 파라미터를 공유하지 않는 여러 모델이 서로의 피드백에서 보상을 얻도록 하는 다중 에이전트 강화학습 프레임워크입니다. 정답 라벨 없이도 텍스트와 멀티모달 추론 성능을 높이고 자기 보상 학습의 붕괴 위험을 완화합니다.