J-Zero: 도전자·해결자·심판의 공동 진화

들어가며

언어 모델이 스스로 과제를 만들고, 답을 내고, 그 품질까지 평가할 수 있다면 인간 감독에 드는 비용을 줄이면서 성능을 높일 가능성이 있습니다. 수학이나 코딩처럼 정답을 외부에서 확인할 수 있는 분야에서는 이런 자기개선 구조를 설계하기 비교적 쉽습니다. 반면 글쓰기와 개방형 질의처럼 정답을 명확히 검증하기 어려운 분야에서는 신뢰할 만한 피드백을 확보하는 일이 핵심 장벽이 됩니다. KAIST AI의 J-Zero는 세 가지 역할을 연결해 이 문제를 다룹니다.

핵심 구조

• Challenger가 난도를 높인다. Challenger는 과제를 생성하고 Solver와 상호작용하면서 점점 더 어려운 입력을 만들어냅니다. Solver는 이에 대응해 더 높은 품질의 답변을 생성하도록 학습합니다. 한쪽이 능력의 한계를 밀어 올리면 다른 쪽이 따라가는 대립 구조입니다.
• Judge를 고정하지 않는다. 기존 자기진화 방식에서는 평가 모델을 고정하는 경우가 많습니다. 그러나 평가자가 더 나은 답변을 구분하지 못하면 그 능력이 전체 시스템의 상한이 될 수 있습니다. J-Zero는 현재 자기개선의 경계에 맞춰 Judge도 함께 적응시킵니다.
• 생성 과정에서 선호 신호를 얻는다. Judge는 자신의 점수에서 나온 선호가 아니라 답변이 어떻게 만들어졌는지에 따라 순서를 미리 알 수 있는 쌍을 학습합니다. 예를 들어 Solver의 답변을 Challenger의 답변보다 우선하고, 답변을 분해한 뒤 재조합한 결과를 한 번에 생성한 답변보다 우선합니다. 이를 통해 새로운 인간 라벨 없이도 비교 학습에 사용할 신호를 구성합니다.
• 검증 가능성과 불가능성을 함께 다룬다. 논문 요약은 J-Zero가 검증 가능한 영역에서 평균 4.2점, 검증이 어려운 영역에서 평균 8.0점 기준선을 앞섰다고 설명합니다. 또한 최소 열 번의 반복까지 개선이 이어졌지만, 기준선은 두 번 이후 성능이 하락했습니다.

의미와 남은 과제

J-Zero의 핵심은 단순히 모델끼리 경쟁시키는 데 있지 않습니다. 과제 생성, 답변 생산, 평가를 독립된 모듈이 아니라 서로 영향을 주는 하나의 진화 시스템으로 설계했다는 점입니다. 검증하기 어려운 과제에서는 답변의 생성 경로가 약한 감독 신호가 될 수 있고, 적응하는 Judge는 고정 평가자가 발전을 막는 문제를 완화할 수 있습니다.

다만 생성 방식에서 정해진 선호가 모든 상황에서 실제 답변 품질의 순위를 보장하는 것은 아닙니다. 세 역할이 같은 편향을 공유한다면 오류가 폐쇄적인 순환 속에서 강화될 가능성도 있습니다. 따라서 J-Zero는 외부 검증 없이 신뢰성을 보장하는 해법이라기보다, 인간 감독 데이터의 필요성을 줄이려는 프레임워크로 이해하는 편이 타당합니다. 다양한 모델과 과제에서의 안정성, 독립적인 인간 평가가 향후 검증 과제입니다.

출처: Hugging Face Daily Papers