추론을 줄여도 사고연쇄의 충실성이 항상 떨어지는 것은 아니다

배경

사고연쇄(CoT) 추론은 복잡한 문제를 해결하는 데만 쓰이지 않습니다. 대규모 언어 모델이 어떤 방식으로 답에 도달하는지 사람이 살펴볼 수 있는 단서도 제공합니다. 그러나 긴 추론을 생성하면 추론 단계의 토큰 사용량과 지연 시간이 늘어납니다. 따라서 설명의 유용성을 유지하면서 추론 출력을 줄이는 효율화 훈련이 중요해지고 있습니다.

문제는 길이 압박이 모델로 하여금 실제 판단에 영향을 준 중간 단계를 생략하게 만들 수 있다는 점입니다. 이 경우 결과물은 자연스럽고 설득력 있어 보여도 모델의 실제 결정을 충실하게 반영하지 않을 수 있습니다. 이번 연구는 이런 현상이 항상 발생하는지, 그리고 추론 길이를 줄이는 방식에 따라 결과가 달라지는지를 살폈습니다.

연구가 비교한 방법

연구진은 여러 모델을 미세 조정하면서 서로 다른 방식으로 추론 길이를 제한했습니다.

• 고정 생성 예산: 추론 출력에 공통적인 길이 한도를 둡니다.
• 사례별 길이 목표: 각 입력 사례에 별도의 목표 길이를 설정합니다.
• 그룹 상대적 길이 보상: 그룹 내 상대 비교를 통해 더 짧은 추론을 유도합니다.

이후 두 가지 특성을 평가했습니다. CoT 충실성은 관련 입력에 대한 모델의 결정이 추론에 얼마나 반영되는지를 뜻합니다. 모니터링 가능성은 입력을 바꿔 답변이 달라졌을 때, 추론이 그 영향을 드러내거나 인정하는지를 의미합니다.

핵심 결과

짧은 추론이 언제나 해석 가능성을 무너뜨린다는 단순한 결론은 나오지 않았습니다. 영향은 과제와 길이 압박 방식에 따라 달랐습니다. 다만 대부분의 설정에서 충실성은 낮아졌습니다. 연구진은 그 주요 원인으로 모델의 일관성 저하를 제시합니다. 서로 관련된 입력에 대해 모델의 행동이 덜 안정적으로 변하면서, 실제 결정과 생성된 설명 사이의 연결도 약해졌다는 의미입니다.

모니터링 가능성은 상대적으로 더 강건했습니다. 사고연쇄가 크게 짧아진 뒤에도 모델은 입력 변화가 답변에 영향을 줬다는 사실을 인식하고 이를 언급하는 경우가 있었습니다. 이는 완전하고 안정적인 설명을 제공하는 능력과 외부 개입의 영향을 드러내는 능력이 서로 다른 특성임을 보여줍니다.

의미와 영향

효율적 추론 훈련을 평가할 때 정확도, 지연 시간, 토큰 절감량만 확인해서는 충분하지 않습니다. 충실성과 모니터링 가능성은 서로 다른 감독 역량을 측정하므로 별도로 평가해야 합니다. 모델이 입력 개입을 감지할 수 있다고 해서 최종 결정을 내린 이유를 일관되게 설명할 수 있다는 뜻은 아닙니다.

앞으로는 관련 입력 사이의 일관성뿐 아니라 반사실적 변화와 의도적인 입력 개입에 대한 반응도 함께 확인해야 합니다. 추론 길이를 설명 품질의 직접적인 대리 지표로 사용해서는 안 됩니다. 짧은 사고연쇄가 자동으로 무용해지는 것은 아니지만, 효율성, 관찰 가능성, 진정한 충실성을 구분하는 평가가 더욱 중요해집니다.

출처: Hugging Face Daily Papers