소개

LLM 정렬을 위한 강화학습은 수학, 물리, 과학, 코드 생성, 지시 따르기처럼 성격이 다른 태스크들을 한 번에 다루는 경우가 많다. 하지만 같은 정책이라도 각 prompt 그룹이 요구하는 탐색 강도는 다르다. 어떤 그룹은 더 넓게 탐색해야 하고, 어떤 그룹은 빠르게 수렴하는 편이 낫다. Group Entropy-Controlled Policy Optimization(GEPO) 는 이런 차이를 반영하려는 방법이다.

핵심 아이디어

GEPO는 GRPO의 가벼운 확장이다. 별도의 무거운 구조를 추가하기보다, 학습 중 이미 존재하는 grouped samples를 활용해 그룹 단위 엔트로피를 추정한다.

그다음 entropy-conditioned asymmetric advantage shaping 을 적용한다.

• 저엔트로피 그룹에서는 양의 advantage를 줄여 과도한 활용을 막는다.
• 고엔트로피 그룹에서는 음의 advantage를 너무 빨리 약화시키지 않아 탐색을 유지한다.
• 적응형 임계값은 과거 엔트로피 통계로 정해 고정 규칙 의존을 줄인다.

왜 필요한가

GRPO 계열의 정규화 advantage는 안정적인 학습에 도움이 되지만, 태스크가 섞인 환경에서는 엔트로피 상태에 따라 편향이 생길 수 있다. 그러면 서로 다른 prompt 그룹에서 나온 advantage 신호가 통계적으로 완전히 같은 의미를 갖지 않게 된다.

즉, 문제는 단순히 보상 크기가 아니라 그룹별 탐색 상태의 차이다.

의미와 영향

• 혼합 태스크 RL에 더 잘 맞는 방식이다.
• 기존 GRPO 파이프라인 위에 얹기 쉬운 편이라 실용성이 있다.
• 탐색과 활용의 균형을 그룹 단위로 조절할 수 있다.
• 자료에 따르면 두 개의 base model과 13개 벤치마크에서 GRPO 및 최근 엔트로피 제어 방식보다 더 안정적인 성능을 보였다.

마무리

GEPO의 포인트는 엔트로피 제어를 전역 설정이 아니라 그룹 인식형 제어로 바꿨다는 점이다. LLM RL에서 데이터는 점점 더 이질적이 되고 있기 때문에, 이런 세밀한 조정 방식은 앞으로 더 중요해질 가능성이 있다. 단순히 “더 많이 탐색하라”가 아니라, 어느 그룹에서 얼마나 탐색할지를 구분해 다루는 접근이라는 점이 눈에 띈다.

출처: Hugging Face Daily Papers