아티클 목록으로

Co-RL, 다양한 AI 집단의 협력으로 비지도 추론을 학습하다

약 3분 소요

비지도 추론의 난제

강화학습은 대규모 언어 모델과 비전-언어 모델의 추론 능력을 높이는 유력한 방법으로 자리 잡고 있습니다. 하지만 높은 성과를 내는 학습 방식은 대체로 정답과 대조할 수 있는 보상이나 사람의 평가를 필요로 합니다. 과제가 복잡해질수록 인간이 모델의 답과 추론 과정을 안정적으로 판정하기 어려워지고, 충분한 주석을 확보하는 비용도 커집니다.

자기 보상 강화학습은 이 문제에 대한 직관적인 해법입니다. 모델이 자신의 완성 결과를 평가하고 그 판단을 보상으로 사용하면 외부 라벨 의존도를 낮출 수 있습니다. 그러나 답변을 만드는 모델과 평가하는 모델이 동일하면 기존의 편향과 지름길, 잘못된 판단이 오히려 강화될 수 있습니다. 학습이 진행되면서 출력이 획일화되고 탐색 공간이 줄어들며, 결국 학습 붕괴가 나타날 가능성도 있습니다.

Co-RL의 접근법

Co-RL은 자기 평가를 여러 모델 사이의 협력으로 전환합니다. 이 프레임워크에서는 파라미터를 공유하지 않는 여러 모델을 동시에 강화학습으로 최적화하고, 동료 모델이 생성한 피드백에서 보상을 얻습니다. 각 모델은 서로 다른 표현과 추론 경향을 유지하므로, 하나의 모델만 사용할 때보다 다양한 관점이 학습 신호에 반영될 수 있습니다.

이 접근법의 핵심은 모델 수 자체보다 집단의 다양성입니다. 연구진은 서로 다른 모델 계열과 크기를 함께 사용하고, 학습 샘플도 여러 방식으로 바꿔 표현했습니다. 이렇게 하면 모든 모델이 같은 입력에서 똑같은 오류를 낼 가능성이 낮아집니다. 한 모델의 실수가 다른 모델들에 의해 반복 승인되는 자기 강화형 피드백 고리를 약화시키는 방식입니다.

핵심 내용은 다음과 같습니다.

  • 파라미터를 공유하지 않는 여러 모델이 동료 보상으로 학습한다;
  • 정답 라벨이나 외부의 진실값 보상을 사용하지 않는다;
  • 이질적인 모델과 재표현된 데이터가 상관 오류를 줄인다;
  • 다양성이 추론 성능과 행동 다양성, 학습 안정성을 돕는다;
  • 텍스트 전용 및 멀티모달 환경 모두에 적용된다.

결과와 파급효과

논문 초록에 따르면 언어 모델은 7개 텍스트 벤치마크에서 평균 3.08.6%의 향상을 보였습니다. 비전-언어 모델은 4개 멀티모달 벤치마크에서 평균 2.37.2%의 향상을 기록했습니다. 저자들은 Co-RL이 기본 모델과 기존 라벨 없는 방법을 일관되게 앞섰으며, 정답 라벨을 사용하지 않고도 지도학습 방식과 비슷하거나 더 나은 결과를 냈다고 설명합니다.

이 연구의 의미는 외부 감독이 부족한 상황에서 모델 간 차이를 탐색과 오류 수정의 자원으로 활용했다는 데 있습니다. 단일 심판이 모든 문제의 정답을 판정하기 어려운 개방형 추론 과제에서, 다양한 모델 집단이 상호 견제 장치가 될 수 있다는 가능성을 보여줍니다.

다만 동료 피드백이 자동으로 신뢰할 만한 감독이 되는 것은 아닙니다. 모든 모델이 동일한 데이터 편향, 구조적 약점, 평가 기준을 공유한다면 집단 전체가 같은 오답으로 수렴할 수 있습니다. 따라서 향후에는 집단 구성, 피드백 통합 방식, 과제 특성이 학습 안정성과 성능에 미치는 영향을 더 세밀하게 검증해야 합니다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
GRPO의 밀집 보상은 추가 연산 비용만큼 가치가 있을까
강화학습
cctest.ai
강화학습

GRPO의 밀집 보상은 추가 연산 비용만큼 가치가 있을까

1668개 실행과 6개 모델을 분석한 연구에서 생성 토큰과 GPU 시간을 맞추자 몬테카를로 방식의 밀집 과정 보상은 표준 GRPO를 앞서지 못했다. 모델이 가장 불확실한 프롬프트를 선택하는 방법은 작지만 재현 가능한 개선을 보였다.

더 보기
CCTest · Blog
FewStepRL: 소수 단계 확산 모델을 위한 강화학습 미세 조정
강화학습
cctest.ai
강화학습

FewStepRL: 소수 단계 확산 모델을 위한 강화학습 미세 조정

FewStepRL은 소수의 샘플링 단계로 동작하는 확산 모델에 기존 강화학습 목적함수를 적용하는 체계적인 방법을 제시합니다. 미분 가능한 보상에는 보상 그래디언트 기반 방법이 효과적이며, 그렇지 않은 경우에는 DiffusionNFT 계열이 실용적인 대안으로 나타났습니다.

더 보기