저자원 언어 추론: SFT가 바꾸는 것과 RL이 고치는 것

들어가며

저자원 언어로 추론하는 모델을 만들 때 최종 정답률만 보면 중요한 변화를 놓칠 수 있다. 그리스어를 사례로 삼은 연구는 모델이 사용자가 읽을 수 있는 언어로 사고하는지, 요구된 출력 형식을 지키는지, 지시에 따라 추론 언어를 바꿀 수 있는지를 정확도와 분리해 평가해야 한다고 말한다.

연구진은 유효 파라미터가 약 3.6B~4.0B인 여러 Mixture-of-Experts 모델을 대상으로 지도 미세조정(SFT)과 검증 가능한 보상을 이용한 강화학습(RLVR)을 비교했다. 또한 행동 지표가 실제 능력이 아니라 출력 길이만 반영하는지 확인하기 위해 대조 조건을 사용했다.

핵심 결과

• 정확도는 잡음에 묻혔다. 벤치마크 정확도는 거의 변하지 않았지만, 무작위 시드만 바꿔도 7.7포인트가 움직였다. 이는 실험에서 측정된 데이터와 학습 레시피의 모든 효과보다 큰 차이였다. 이 설정에서는 정확도만으로 언어 적응을 판단하기 어렵다는 뜻이다.
• 기초 모델은 그리스어로 추론하지 않았다. 그리스어 질문을 포함해 1,000개의 추론 기록을 확인했지만 그리스어로 된 추론은 한 건도 없었다. 답은 맞힐 수 있어도 사용자는 그 과정을 읽고 감사하거나 수정할 수 없다.
• SFT는 드러나는 추론 습관을 바꿨다. 미세조정 후 체크포인트는 약 98%의 항목에서 질문과 같은 언어로 추론했다. 한 모델 계열은 토큰을 3분의 1만 사용하면서 같은 변화를 보였다. 네 모델 계열 모두 문법성이 개선됐고, 일반 능력은 기초 모델과 몇 포인트 이내의 차이를 유지했다.
• SFT만으로는 행동 결함이 남았다. 약 4분의 1의 답변이 요청된 형식을 따르지 않았고, 일부 답변은 추론 채널로 새어 나왔다. “영어로 생각하라”는 명시적 지시의 준수율도 절반에 못 미쳤다. 언어 유창성과 안정적인 프로토콜 준수는 별개의 능력이다.
• RLVR은 검증 가능한 행동을 개선했다. 사전 등록된 실험에서 형식 폴백은 24%에서 2.5%로, 추론 채널 누출은 3.5%에서 0%로 낮아졌다. 영어로 생각하라는 지시의 준수율도 9.1%포인트 상승했다. 반면 정확도만을 최적화한 학습 신호는 그리스어 추론 습관을 바꾸지 못했다.

의미와 영향

다국어 추론 평가는 정답 여부에 머물러서는 안 된다. 지정 언어로 추론하는지, 문법적으로 자연스러운지, 출력 형식을 지키는지, 답과 추론 채널을 분리하는지, 언어 전환 지시를 따르는지를 함께 측정해야 한다.

측정 도구 자체도 검증 대상이다. 연구진은 자신들의 도구가 잘못된 결론을 낸 여섯 가지 사례를 공개하고, 대조 실험으로 각각을 찾아냈다. 출력이 길어졌다는 이유만으로 점수가 오르는 지표는 더 나은 추론을 뜻하지 않는다. 앞으로는 정확도와 함께 출력 길이 통제, 시드 민감도, 일반 능력 유지, 지시 준수율을 보고할 필요가 있다.

그리스어는 연구의 최종 목적이라기보다 측정 가능한 사례다. 다른 저자원 언어에서도 SFT가 “올바른 언어로 표현하는” 능력을 만들고, RL이 “규칙에 맞게 행동하는” 능력을 보완할 수 있다. 두 층이 함께 있어야 읽고 감사하며 통제할 수 있는 추론 시스템이 된다.

출처: Hugging Face Daily Papers