LLM은 왜 생각을 멈추지 못할까: ‘사고 관성’의 발견

들어가며

최근 대규모 언어 모델에는 답변 전에 더 오래 추론하도록 하는 ‘사고 모드’가 점점 널리 적용되고 있다. 사용자는 모델에게 충분히 생각한 뒤 답하라고 요청할 수 있다. 그러나 그 반대인 ‘생각하지 말고 답만 하기’가 실제로 가능한지에 대해서는 상대적으로 관심이 적었다.

논문 ‘Thinking Inertia: LLMs Keep Thinking When Told Not To’는 모델이 명시적인 무사고 지시를 얼마나 잘 따르는지 조사했다. 이 연구가 강조하는 핵심은 정답 여부와 지시 준수 여부가 서로 다른 문제라는 점이다. 모델은 정답을 맞히면서도 그 앞에 분석, 설명, 추론처럼 보이는 문장을 덧붙일 수 있다. 연구진은 이러한 지속적인 추론 표시를 ‘사고 관성’이라고 명명했다.

무사고를 어떻게 측정할 것인가

기존 평가에서는 사고 모드를 끄거나 응답이 짧은지를 확인하는 방식이 자주 사용됐다. 하지만 사고 모드를 비활성화했다고 해서 추론성 텍스트가 반드시 사라지는 것은 아니다. 반대로 긴 응답이 언제나 실제 추론을 담고 있는 것도 아니다. 단순한 반복이나 형식적인 문장이 포함될 수 있기 때문이다.

연구진은 각 응답을 최종 답변 이전의 텍스트와 최종 답변으로 정규화한 뒤, 전자의 성격을 세 가지 지표로 평가했다.

• 빈 사고율: 사전 설명이나 추론 없이 답만 출력했는지를 측정한다.
• 질문-사전 답변 관련성: 답변 전 텍스트가 질문과 얼마나 밀접하게 연결되는지를 평가한다.
• 명시적 추론율: LLM 심판을 활용해 답변 전 텍스트에 분명한 추론이 포함됐는지 판단한다.

이 지표들을 함께 사용하면 서로 다른 세 가지 상태를 구별할 수 있다. 첫째는 진정한 답변만의 출력, 둘째는 질문과 관련되지만 추론이라고 보기 어려운 텍스트, 셋째는 명시적으로 드러난 추론이다.

실험 결과

연구진은 여섯 개의 LLM에 여섯 종류의 프롬프트 개입을 적용하고, 불리언 문제, 객관식 문제, 개방형 문제에서 비교했다. 실험 결과, 모델에게 생각하지 말라고 명확히 지시하는 것만으로는 보이는 추론을 안정적으로 없애기 어려웠다. 엄격한 제어를 적용해도 모델은 최종 답변 전에 분석을 덧붙이는 경우가 있었다.

과제 유형에 따른 차이도 나타났다. 불리언 문제와 객관식 문제에서는 보이는 추론을 줄이더라도 정확도가 대체로 유지됐다. 반면 개방형 문제에서는 사고 관성이 더 두드러졌다. 가능한 답의 공간이 넓어질수록 모델은 분석과 설명을 답변 과정에 포함하기 쉬워진다. 제공된 자료는 개방형 과제에서 답변 성능과 무사고 지시 준수 사이에 상충 관계가 나타날 가능성도 언급하지만, 구체적인 수치는 제시하지 않는다.

의미와 영향

이 연구는 ‘사고 모드를 껐다’는 사실을 ‘추론 텍스트가 생성되지 않았다’는 뜻으로 받아들여서는 안 된다는 점을 보여준다. 응답이 짧다는 이유만으로 모델이 사고를 멈췄다고 판단하는 것도 충분하지 않다.

간결한 응답, 엄격한 출력 형식, 낮은 지연 시간, 중간 추론 과정의 비공개가 필요한 애플리케이션에서는 무사고 행동을 직접 평가해야 한다. 모델 개발자에게는 단순한 토글 기능보다 전용 학습, 생성 제어, 행동 평가가 필요할 수 있다. 또한 평가자는 모델이 추론할 수 있는지뿐 아니라, 언제 추론을 표시하지 말아야 하는지도 확인해야 한다. 좋은 모델은 생각하는 능력과 함께 생각을 멈추고 답만 제시하는 능력도 갖춰야 한다.

출처: Hugging Face Daily Papers