LLM 신뢰도 추정에 추가 학습이 필요 없을까? RL Critic은 이미 알고 있다

들어가며

대규모 언어 모델을 신뢰성 있게 배포하려면 모델이 답변뿐 아니라 그 답변을 얼마나 믿을 수 있는지도 알려줘야 한다. 기존에는 정답 여부가 표시된 데이터를 별도로 수집한 뒤, 자기평가 모델이나 외부 신뢰도 모델을 추가로 학습하는 경우가 많았다. 이 방식은 데이터와 연산 비용을 늘리고, 운영해야 할 구성 요소도 추가한다.

arXiv 논문 Free Lunch for LLMs Confidence: The RL Critic Already Knows는 다른 가능성을 살펴본다. 가치 기반 강화학습으로 훈련된 LLM이라면, 학습 과정에서 이미 사용한 RL Critic이 신뢰도 추정에 필요한 정보를 갖고 있을 수 있다는 주장이다.

핵심 내용

• 신뢰도와 가치 예측은 같은 문제가 될 수 있다. 결과를 정답 또는 오답으로 정의하면, 신뢰도 추정은 질문과 지금까지의 생성 궤적을 바탕으로 최종 답변이 맞을 확률을 계산하는 작업이다. 강화학습의 Critic 역시 같은 궤적에서 향후 결과를 예측한다. 논문은 두 목표가 본질적으로 동등해지는 조건을 설명한다.
• 모델 내부 표현이 필수는 아니다. 연구진은 비슷한 규모의 자기평가 모델과 외부 추정기를 비교했다. 질문, 응답, 정답 여부로 구성된 행동 기록만 학습한 외부 모델도 정책 모델 자체와 비슷한 수준으로 신뢰도를 추정할 수 있었다. 유용한 신뢰도 정보가 반드시 모델 내부의 특별한 자기 인식 표현에 의존하지 않는다는 의미다.
• 기존 Critic을 바로 활용할 수 있다. 가치 기반 RL로 훈련된 LLM에서는 별도의 신뢰도 학습 단계나 추가 데이터 없이 Critic을 신뢰도 모듈로 사용할 수 있다. 정책 모델을 변경하지 않으므로 기존 과제 성능을 직접 낮추지 않는다는 점도 장점이다.
• 생성 중간에도 판단할 수 있다. Critic은 최종 답변뿐 아니라 생성 중인 추론 궤적도 평가할 수 있다. 따라서 낮은 신뢰도 단계에서 경고를 내거나, 검증·사람의 검토·도구 호출을 시작하는 데 활용할 가능성이 있다.

의미와 한계

평가는 수학, 코드, 도구 호출, 일반 추론 등 여러 영역을 대상으로 진행됐다. 저자들의 보고에 따르면 재활용한 Critic은 모든 분포 내 평가에서 가장 좋은 신뢰도 추정기였으며, 16개 보정 평가 중 14개에서 가장 높은 성능을 보였다. 이는 신뢰도 기능을 항상 별도 모델로 추가하기보다, 이미 존재하는 RL 구성 요소의 새로운 용도로 구현할 수 있음을 시사한다.

다만 적용 범위는 신중하게 봐야 한다. 연구의 전제는 가치 기반 강화학습과 정답 여부에 기반한 결과 신호다. 따라서 모든 LLM과 학습 방식에 같은 결과가 자동으로 적용된다고 볼 수는 없다. 학습 분포 밖의 문제, 보정 성능의 안정성, 보상 설계의 품질, 새로운 작업으로 바뀌었을 때의 일반화는 여전히 검증해야 할 과제다. Critic의 품질은 결국 무엇을 예측하도록 학습했는지에 영향을 받는다.

그럼에도 이 연구는 실용적인 질문을 던진다. 새로운 신뢰도 모델을 추가하기 전에, 현재 시스템의 RL Critic이 이미 필요한 예측을 수행하고 있는지 먼저 확인해 보자는 것이다.

출처: arXiv