사람이 만든 Q&A 없이 언어 모델은 스스로 학습할 수 있을까

들어가며

대규모 언어 모델의 후학습에는 대체로 사람이 작성한 질문과 정답, 큐레이션된 문제 세트, 또는 더 강력한 교사 모델이 필요하다. 자기 증류를 사용하는 접근법도 무엇을 학습할지 정해 둔 문제 분포를 전제로 하는 경우가 많다. 이번 연구는 이 전제를 더 약하게 만들 수 있는지 묻는다. 모델에 대략적인 주제 설명만 제공해도, 모델 스스로 연습 문제와 학습 신호를 만들 수 있느냐는 것이다.

OPST의 작동 방식

On-Policy Self-Training(OPST)은 온폴리시 자기 증류를 모델 주도의 자기 학습 루프로 다시 구성한다. 주요 요소는 다음과 같다.

• 커리큘럼 자체 생성: 사람이 만든 프롬프트나 정답을 직접 주지 않고, 높은 수준의 주제에서 모델이 질문을 생성해 학습 분포를 구성한다.
• 추론 시연 생성: 최종 답변뿐 아니라 학습에 활용할 수 있는 특권적 추론 궤적도 모델이 직접 만든다.
• 의사 검증을 통한 필터링: 생성된 사례를 즉시 학습에 넣지 않는다. 새로운 문맥에서 같은 답을 재현할 수 있는지, 질문을 바꿔 써도 답이 일치하는지를 확인한 뒤 남은 사례를 사용한다.
• 멀티모달 확장: Visual OPST에서는 같은 발상을 시각 질의응답에 적용해, 합성된 추론 정보가 이미지 기반 추론에도 도움이 되는지 살핀다.

이 방법은 모델이 아무것도 없는 상태에서 새로운 지식을 만들어 낸다는 뜻은 아니다. 기반 모델 안에 잠재된 능력을 모델 자신의 출력 분포에 맞춰 재구성하고 강화하려는 접근이다. 더 강한 외부 교사에 의존하지 않는다는 점도 핵심이다.

의미와 한계

논문은 여러 언어 영역과 표준 언어 벤치마크에서 자기 개선이 나타났으며, Visual Question Answering에도 효과가 이어졌다고 보고한다. 또한 생성 영역을 섞었을 때 자기 학습에 포함되지 않은 영역의 능력이 반드시 사라지는 것은 아닌지 검토한다. 이는 합성 데이터 기반 자기 학습이 특정 텍스트 작업에만 한정되지 않을 가능성을 보여준다.

OPST의 의미는 감독 신호를 완전히 제거했다기보다, 감독을 더 높은 수준의 추상화로 옮겼다는 데 있다. 모든 문제와 정답을 사람이 작성하는 대신 주제를 제공하고, 모델이 연습 과정을 설계하게 한다. 의사 검증 역시 답이 사실임을 보장하지는 않지만, 문맥이나 표현이 조금만 바뀌어도 무너지는 불안정한 사례를 줄이는 장치가 될 수 있다.

그러나 인간의 개입이 사라진 것은 아니다. 주제 설명, 기반 모델의 지식과 능력, 학습 설계, 평가 벤치마크가 모두 결과의 범위를 결정한다. 모델이 같은 오류를 일관되게 반복하거나 기존 편향을 자기 학습으로 강화할 가능성도 있다. 따라서 OPST는 무제한적인 자기 진화의 증거라기보다, 큐레이션된 과제와 외부 교사에 대한 의존을 줄이는 후학습 전략으로 이해하는 편이 정확하다. 장기 반복 학습에서의 안정성과 사실성은 추가 검증이 필요하다.

출처: Hugging Face Daily Papers