TraceForge, 교사 모델의 숨은 사고 없이 학생 모델용 추론 데이터 생성

배경

대규모 언어 모델을 증류할 때는 교사 모델의 최종 답변뿐 아니라 추론 과정도 학습 데이터로 활용하는 경우가 많습니다. 그러나 일부 폐쇄형 모델은 상세한 사고 연쇄를 제공하지 않고 최종 답변이나 짧은 설명만 반환합니다. TraceForge는 이 문제를 숨겨진 추론을 복구하는 방식으로 해결하지 않습니다. 대신 문제의 문맥과 교사 모델의 답변을 입력으로 받아, 학생 모델 계열에 어울리는 새로운 추론 트레이스를 생성합니다.

작동 방식

TraceForge의 목표는 교사 모델이 실제로 수행한 내부 계산을 재현하는 것이 아닙니다. 학생 모델이 더 쉽게 학습할 수 있는, 자기 계열의 표현 방식을 가진 감독 데이터를 만드는 것입니다. 학습 과정은 두 단계로 구성됩니다.

• 지도학습: 생성기가 문맥과 최종 답변을 바탕으로 해당 모델 계열의 추론 트레이스를 재생성하도록 학습합니다.
• 적대적 학습: 비평가가 생성된 트레이스가 실제 해당 계열의 출력처럼 보이는지 판별하고, 생성기 개선에 신호를 제공합니다.
• 후보 선택: 여러 개의 트레이스를 만든 뒤 비평가를 이용해 더 진짜 같은 후보를 고릅니다.

따라서 교사 모델은 답변을 제공하지만, 추론 텍스트 자체는 학생 모델 쪽에서 합성됩니다. 이는 교사 모델의 비공개 사고 연쇄를 직접 추출하거나 재생하려는 접근과 구별되는 부분입니다.

실험 결과

논문은 다른 조건을 최대한 고정한 상태에서 다섯 가지 벤치마크를 평가했습니다. 독립적인 판정에서 TraceForge 트레이스의 평균 진짜 같음 점수는 0.68이었고, 실제 트레이스는 0.66이었습니다. 네 개의 후보를 비평가로 선별하면 점수는 0.82로 올라갔습니다. 다만 이 지표는 내용이 얼마나 실제 출력처럼 보이는지를 나타낼 뿐, 추론의 정확성이나 답변의 정답률을 측정하는 값은 아닙니다.

가장 뚜렷한 결과는 코딩 과제에서 나왔습니다. 동일한 5,000개 문제와 동일한 교사 답변을 사용해 학습했을 때, 최종 체크포인트 기준 HumanEval+는 3.7포인트, MBPP+는 7.1포인트 향상됐습니다. MBPP+의 우위는 모든 학습 체크포인트에서 유지된 것으로 보고됐습니다. 연구진은 학생 모델이 익숙한 계열의 문체로 작성된 추론이 다른 모델의 사고 연쇄보다 학습하기 쉬울 수 있다고 추정합니다.

의미와 한계

TraceForge는 추론 증류의 목표를 바꿔 생각하게 합니다. 핵심은 교사 모델의 숨은 사고를 확보하는 것이 아니라, 특정 학생 모델이 잘 흡수할 수 있는 추론 감독을 구성하는 것입니다. 이는 비공개 사고 연쇄에 의존하지 않고 교사 답변을 활용해 학습 데이터를 확장하려는 실용적인 방향을 제시합니다.

그러나 생성된 트레이스가 실제 답변 생성 과정을 그대로 반영한다고 볼 수는 없습니다. 답변이 나온 뒤 만들어진 사후 설명일 가능성도 있으며, 진짜 같음 점수가 높아도 논리적 타당성이 보장되지는 않습니다. 또한 이번 결과는 제시된 벤치마크, 특히 코딩 과제에 크게 기반합니다. 수학, 지식 질의, 긴 다단계 추론에서도 효과가 유지되는지, 그리고 학생 모델의 스타일 적합성이 언제 실제 학습 성능으로 이어지는지는 추가 검증이 필요합니다.

출처: Hugging Face Daily Papers