언어 모델이 언어 모델을 개선하도록 학습하는 LM2LM

들어가며

언어 모델은 데이터 처리와 학습 설정 설계를 포함한 AI 연구 자동화에 점점 더 활용되고 있습니다. 모델이 경험을 쌓으며 다음 언어 모델을 개선하는 방법까지 학습한다면, 연구 역량이 반복적으로 향상되는 순환 구조를 만들 수 있습니다. 그러나 좋은 아이디어를 생성하는 것과 그 아이디어가 실제로 효과적인지 검증하는 것은 전혀 다른 문제입니다. 후보마다 완전한 모델 학습을 실행해야 한다면 강화학습에 필요한 보상 수집 비용이 급격히 커집니다. LM2LM은 모델 개선 제안 능력 자체를 강화학습으로 훈련할 수 있는지 묻습니다.

작동 방식

LM2LM은 두 요소로 구성됩니다.

• 제안 모델: 언어 모델을 개선할 후보 아이디어를 생성하고 강화학습으로 정책을 업데이트합니다.
• 연구 월드 모델(RWM): 실제 실험 기록을 문맥으로 읽고 새로운 제안이 가져올 성능 향상을 예측하는 고정 언어 모델입니다.

일반적인 강화학습에서는 수많은 제안을 실제로 실행해 보상을 얻어야 합니다. 논문은 제안 모델 훈련에 수만 건의 후보 평가가 필요할 수 있다고 설명합니다. 각 실험에 약 10 B200 GPU 시간이 든다면 보상 수집만으로 수십만 GPU 시간이 필요합니다. LM2LM은 먼저 RWM이 결과를 예측하게 함으로써, 대부분의 보상 계산을 전체 모델 학습이 아닌 언어 모델 추론으로 바꿉니다.

하지만 예측 보상은 정책 최적화 과정에서 취약해질 수 있습니다. 제안 모델이 실제로는 성능이 낮지만 RWM이 과대평가하기 쉬운 아이디어를 찾아낼 수 있기 때문입니다. LM2LM은 이를 해결하기 위해 현재 정책이 높은 점수를 받은 제안을 정기적으로 실제 실행합니다. 측정된 결과는 다시 RWM의 문맥에 추가됩니다. 이 온폴리시 보정은 정책이 실제로 탐색하는 제안 분포에 맞춰 예측 모델을 계속 조정하는 역할을 합니다.

결과와 비용

저자들은 자기회귀 언어 모델과 확산 언어 모델을 포함한 8개 개발 환경에서 LM2LM을 평가했습니다. 학습에 사용하지 않은 과제를 실제 실행해 검증한 결과, LM2LM으로 훈련한 Qwen3.8-27B는 300개의 실제 실험 기록을 문맥으로 제공받은 GPT-6-sol보다 높은 성능을 보였습니다. 보지 못한 모델 계열로의 전이도 보고됐습니다.

비용 비교도 이 연구의 중요한 결과입니다. LM2LM은 보정 목적으로 200회의 실제 실행을 사용하며, 논문이 제시한 추정 비용은 4만1000달러, 소요 시간은 343시간입니다. 반면 300개 기록을 활용하는 인컨텍스트 학습 기준선은 약 6만 달러와 510시간이 필요합니다. 제시된 비교에 따르면 LM2LM은 약 33% 저렴하면서도 더 나은 결과를 냈습니다.

의미와 남은 과제

LM2LM의 핵심은 실험을 없애는 것이 아니라 실험의 역할을 바꾸는 데 있습니다. 모든 후보를 검증하는 대신 RWM으로 후보를 우선순위화하고, 실제 실행은 예측 보정과 유망한 제안 확인에 집중합니다. 대규모 학습이 필요한 연구 환경에서는 이러한 분업이 자동화 비용을 낮출 수 있습니다.

동시에 연구 월드 모델의 예측을 영구적인 정답으로 볼 수는 없습니다. 정책이 바뀌면 생성되는 아이디어의 분포도 달라지므로, 실제 데이터에 의한 지속적인 보정이 필요합니다. 성능은 실험 기록의 품질, RWM의 일반화 능력, 그리고 정책의 사각지대를 발견하는 보정 실험에 좌우됩니다. 따라서 LM2LM은 재귀적 자기개선을 향한 유망한 단계이지만, 모델이 완전한 AI 연구를 독립적으로 수행한다는 증거는 아닙니다.

출처: Hugging Face Daily Papers