Co-RL, 다양한 AI 집단의 협력으로 비지도 추론을 학습하다

비지도 추론의 난제

강화학습은 대규모 언어 모델과 비전-언어 모델의 추론 능력을 높이는 유력한 방법으로 자리 잡고 있습니다. 하지만 높은 성과를 내는 학습 방식은 대체로 정답과 대조할 수 있는 보상이나 사람의 평가를 필요로 합니다. 과제가 복잡해질수록 인간이 모델의 답과 추론 과정을 안정적으로 판정하기 어려워지고, 충분한 주석을 확보하는 비용도 커집니다.

자기 보상 강화학습은 이 문제에 대한 직관적인 해법입니다. 모델이 자신의 완성 결과를 평가하고 그 판단을 보상으로 사용하면 외부 라벨 의존도를 낮출 수 있습니다. 그러나 답변을 만드는 모델과 평가하는 모델이 동일하면 기존의 편향과 지름길, 잘못된 판단이 오히려 강화될 수 있습니다. 학습이 진행되면서 출력이 획일화되고 탐색 공간이 줄어들며, 결국 학습 붕괴가 나타날 가능성도 있습니다.

Co-RL의 접근법

Co-RL은 자기 평가를 여러 모델 사이의 협력으로 전환합니다. 이 프레임워크에서는 파라미터를 공유하지 않는 여러 모델을 동시에 강화학습으로 최적화하고, 동료 모델이 생성한 피드백에서 보상을 얻습니다. 각 모델은 서로 다른 표현과 추론 경향을 유지하므로, 하나의 모델만 사용할 때보다 다양한 관점이 학습 신호에 반영될 수 있습니다.

이 접근법의 핵심은 모델 수 자체보다 집단의 다양성입니다. 연구진은 서로 다른 모델 계열과 크기를 함께 사용하고, 학습 샘플도 여러 방식으로 바꿔 표현했습니다. 이렇게 하면 모든 모델이 같은 입력에서 똑같은 오류를 낼 가능성이 낮아집니다. 한 모델의 실수가 다른 모델들에 의해 반복 승인되는 자기 강화형 피드백 고리를 약화시키는 방식입니다.

핵심 내용은 다음과 같습니다.

• 파라미터를 공유하지 않는 여러 모델이 동료 보상으로 학습한다;
• 정답 라벨이나 외부의 진실값 보상을 사용하지 않는다;
• 이질적인 모델과 재표현된 데이터가 상관 오류를 줄인다;
• 다양성이 추론 성능과 행동 다양성, 학습 안정성을 돕는다;
• 텍스트 전용 및 멀티모달 환경 모두에 적용된다.

결과와 파급효과

논문 초록에 따르면 언어 모델은 7개 텍스트 벤치마크에서 평균 3.08.6%의 향상을 보였습니다. 비전-언어 모델은 4개 멀티모달 벤치마크에서 평균 2.37.2%의 향상을 기록했습니다. 저자들은 Co-RL이 기본 모델과 기존 라벨 없는 방법을 일관되게 앞섰으며, 정답 라벨을 사용하지 않고도 지도학습 방식과 비슷하거나 더 나은 결과를 냈다고 설명합니다.

이 연구의 의미는 외부 감독이 부족한 상황에서 모델 간 차이를 탐색과 오류 수정의 자원으로 활용했다는 데 있습니다. 단일 심판이 모든 문제의 정답을 판정하기 어려운 개방형 추론 과제에서, 다양한 모델 집단이 상호 견제 장치가 될 수 있다는 가능성을 보여줍니다.

다만 동료 피드백이 자동으로 신뢰할 만한 감독이 되는 것은 아닙니다. 모든 모델이 동일한 데이터 편향, 구조적 약점, 평가 기준을 공유한다면 집단 전체가 같은 오답으로 수렴할 수 있습니다. 따라서 향후에는 집단 구성, 피드백 통합 방식, 과제 특성이 학습 안정성과 성능에 미치는 영향을 더 세밀하게 검증해야 합니다.

출처: Hugging Face Daily Papers