LLM은 정말 자신의 사고 과정대로 추론할까?

들어가며

대규모 언어 모델이 출력하는 사고 연쇄는 모델이 답을 도출한 과정을 보여주는 창처럼 여겨집니다. 그러나 문장이 자연스럽고 논리적으로 보인다고 해서 실제 내부 계산을 충실히 기록한다는 뜻은 아닙니다. 모델은 내부적으로 다른 단서를 사용하면서도, 답을 설명하기 위해 그럴듯한 추론을 제시할 수 있습니다.

핵심 내용

• CIA로 설명과 내부 계산을 비교한다. 연구진은 CoT-Interpretability Alignment(CIA)라는 지표를 제안했습니다. 이 지표는 사고 연쇄에 명시된 추론 전략과 해석 가능성 도구가 탐지한 모델 내부 전략이 얼마나 일치하는지 측정합니다. 설명이 매끄러운지보다 실제 계산 과정과 대응하는지가 핵심입니다.
• 여러 과제에서 불일치를 확인했다. 두 단계 질의응답, 힌트 개입, 정수 곱셈의 세 과제를 세 개 언어 모델에 적용했습니다. 전체적으로 일치도는 44.8%에서 75.9%에 그쳤습니다. 따라서 최종 답이 맞더라도, 함께 제시된 사고 과정이 실제 답 생성에 사용됐다고 단정할 수 없습니다.
• 후학습으로 충실도를 높일 수 있다. 연구진은 과제 정확도와 파라메트릭 충실도 신호를 함께 보상하는 방식으로 후학습을 진행했습니다. 그 결과 과제 정확도를 유지하거나 개선하면서 사고 연쇄의 충실도를 크게 높일 수 있었습니다.

의미와 한계

이 연구는 “사고 연쇄를 믿어도 되는가”라는 질문을 정성적 논쟁에서 측정 가능한 평가 문제로 옮겼다는 데 의미가 있습니다. 다만 CIA는 모델의 내부 과정을 완전히 증명하는 도구가 아니며, 내부 전략을 찾아내는 해석 가능성 기법의 품질에 영향을 받습니다. 따라서 특정 모델과 과제에서 얻은 결과를 모든 상황에 그대로 적용하기는 어렵습니다.

그럼에도 모델 평가에서 최종 정답률만 확인해서는 부족하다는 메시지는 분명합니다. 수학 추론, 질의응답, 설명을 의사결정의 근거로 사용하는 시스템에서는 유창하지만 실제 계산과 무관한 설명이 과도한 신뢰를 유발할 수 있습니다. 충실도를 학습 목표에 포함해도 성능을 반드시 희생할 필요가 없다는 결과는 신뢰할 수 있는 추론 표시를 만드는 실용적 방향을 제시합니다. 앞으로는 이 정렬이 다른 모델과 과제로도 일반화되는지, 내부 전략을 탐지하는 방법이 얼마나 안정적인지 추가 검증이 필요합니다.

출처: Hugging Face Daily Papers