정답률 너머로: SFT·RL·OPD는 추론 중 신뢰도를 어떻게 바꾸나

도입

대형 언어 모델의 추론 성능은 지도 미세조정(SFT), 강화학습(RL), on-policy distillation(OPD) 같은 후학습 기법을 통해 크게 개선되어 왔다. 하지만 기존 평가는 대체로 최종 답이 맞았는지에 집중해 왔다. 이 arXiv 논문은 질문을 바꾼다. 모델이 추론하는 동안 드러내는 ‘신뢰도’는 언제 믿을 수 있을까?

저자들은 사고 연쇄의 신뢰도를 하나의 전역 점수처럼 다뤄서는 안 된다고 본다. 추론을 시작하기 전, 추론을 진행하는 중, 추론을 마친 뒤의 신뢰도는 서로 다른 의미를 가질 수 있으며, 후학습 방식에 따라 그 패턴도 달라진다.

핵심 내용

• 3단계 보정 프레임워크: 논문은 신뢰도 평가를 사고 연쇄 생성 전, 생성 중, 생성 후로 나눈다. 각각 문제 난도 추정, 조기 종료 판단, 여러 추론 경로의 답변 집계에 해당한다.
• 후학습 방식별 강점 차이: 수학 추론 벤치마크의 통제 비교에서 OPD는 추론 전 신뢰도 신호가 가장 유용했다. SFT는 추론 중 온라인 신호가 강해 조기 종료에 적합했다. RL은 전체 추론 궤적 수준의 신호가 더 안정적이어서 답변 집계에 유리했다.
• 신뢰도는 위치에 따라 달라진다: RL의 신뢰도는 초반부터 곧바로 유용한 것이 아니라, 모델이 특정 추론 경로에 어느 정도 커밋한 이후에 정보성이 높아진다. 반대로 OPD는 초반에는 도움이 되지만 후반에는 신뢰도가 오히려 반대로 보정되는 구간이 나타날 수 있다.
• PosConf 제안: 저자들은 이런 위치 의존성을 바탕으로 PosConf를 제안한다. 이는 사고 연쇄 전체의 신뢰도를 무조건 쓰는 대신, 상대적 위치상 신뢰할 수 있는 구간의 신호만 사용하는 전략이다.

의미와 영향

이 연구는 추론 모델 평가의 기준을 확장한다. 정답률은 모델이 최종적으로 맞혔는지를 알려주지만, 신뢰도 보정은 모델의 내부 신호를 실제 추론 시스템에서 의사결정에 활용할 수 있는지를 보여준다. 이는 토큰 예산이 제한된 환경, 다중 샘플링, 조기 종료, 답변 집계가 필요한 시스템에서 특히 중요하다.

논문에 따르면 PosConf는 RL 기반 답변 집계에서 다수결보다 6.1포인트 높은 성능을 보였다. 또한 제한된 토큰 예산에서 OPD의 후반부 역보정 구간을 피함으로써 조기 종료 성능을 안정적으로 개선했으며, 최대 4.3포인트의 이득을 보고했다.

실무적 시사점은 분명하다. 개발자는 모델의 신뢰도를 추론 전 구간에서 동일하게 믿을 수 있는 품질 점수로 간주해서는 안 된다. 후학습은 정확도뿐 아니라 신뢰도와 정답 가능성이 연결되는 시점도 바꾼다. 앞으로의 추론 시스템은 정확도 평가와 함께 단계별·위치별 신뢰도 보정을 함께 고려해야 할 것이다.

출처: arXiv