LLM-as-a-Coach: 평가를 경험 지식으로 바꾸는 학습

서론

열린 형태의 작업에서는 강화학습의 보상을 하나의 숫자로 압축하는 경우가 많다. 하지만 창의적 글쓰기, 대화, 계획 수립처럼 정답을 명확히 검증하기 어려운 과제에서는 그 방식이 충분하지 않다. 숫자만 남기면 왜 좋은지, 무엇이 개선 포인트인지가 사라지기 때문이다. 이 논문은 바로 그 문제를 겨냥해, 평가를 경험 지식으로 바꿔 학습에 다시 넣는 방식을 제안한다.

핵심 아이디어

EL은 기존의 LLM-as-a-Judge를 LLM-as-a-Coach로 바꾼다. 코치는 단순히 점수를 주는 대신, 온-폴리시 응답에 대한 자신의 평가를 전이 가능한 지식으로 정제한다. 이 지식은 teacher model의 조건으로 사용되고, 최종적으로는 on-policy context distillation을 통해 정책 모델 가중치에 내재화된다.

핵심 포인트

• 더 풍부한 신호: 스칼라 보상보다 텍스트 기반 경험 지식이 훨씬 많은 정보를 담는다.
• 세밀한 선호 보존: 좋은 답변들 사이의 미세한 차이를 더 잘 구분한다.
• 일반화 향상: 학습 분포 밖의 열린 과제에서도 더 잘 작동한다고 보고한다.
• 보상 해킹 완화: 단순 점수 최적화에서 생길 수 있는 편법을 줄인다.
• 다양한 설정에서 검증: 두 가지 정책 계열과, 정책 자체 또는 독점 모델의 피드백을 모두 사용해 실험했다.

의미와 영향

이 연구는 후학습(post-training)을 다시 생각하게 만든다. 중요한 것은 단순히 “몇 점인지”가 아니라, 그 답변에서 무엇을 배울 수 있는지다. 경험을 지식으로 바꿔 전달하면, 모델은 더 촘촘한 선호 구조를 익히고 새로운 상황에도 더 유연하게 대응할 수 있다.

실무적으로는, 비검증형 태스크에서 RL을 쓸 때 숫자형 보상만 고집할 필요가 없다는 점을 보여준다. 향후에는 평가와 학습 사이의 경계를 더 가깝게 연결하는 방식이 중요해질 수 있다.

Hugging Face Daily Papers