LLM의 ‘현저성 편향’: 상식을 알고도 왜 함정에 빠질까

도입

대규모 언어 모델은 복잡한 추론, 코딩, 수학 문제에서 빠르게 발전하고 있다. 하지만 일상적인 상식 추론에서는 여전히 독특한 약점을 보인다. 논문 “Would You Walk to the Car Wash? Revealing the Salience Bias of Large Language Models in Commonsense Reasoning”은 모델이 프롬프트 안의 눈에 띄는 정보에 과도하게 반응하면서, 현실 세계의 기본 전제를 놓치는 문제를 다룬다.

저자들은 이 현상을 Salience Bias, 즉 현저성 편향이라고 부른다. 모델이 숫자, 조건, 명시적 지시처럼 두드러진 요소를 중요하게 받아들이는 과정에서, 실제로 그 과제가 물리적으로 가능한지 또는 상식적으로 타당한지를 먼저 점검하지 못한다는 뜻이다.

핵심 내용

• 명시적 단서가 추론을 장악한다: LLM은 사용자가 제공한 조건을 충실히 따르도록 학습되어 있다. 이는 많은 작업에서 장점이지만, 상식 문제에서는 무관한 숫자나 제약에 매달려 불필요한 계산을 하거나 표면적 지시에 과도하게 순응하는 결과를 낳을 수 있다.
• SaliTrap Benchmark 제안: 저자들은 네 가지 함정 차원을 포함하는 SaliTrap 평가셋을 만들었다. 이 벤치마크는 모델이 눈에 잘 띄지만 쓸모없는 방해 요소를 무시하고 상식적 전제를 유지할 수 있는지 측정한다.
• 12개 최신 모델 모두 영향권: 논문은 12개 최첨단 LLM을 평가했고, 주류 모델 전반에서 현저성 편향이 나타났다고 보고한다. 방해 요소가 많아질수록 편향은 더 심해졌으며, 모델이 함정을 감지하는 것과 실제로 피하는 것은 분리될 수 있었다.
• 지식 부족이 아니라 지식 억제에 가깝다: 저자들은 오도하는 과제 프레이밍을 제거하고 맥락 없는 지식 탐침을 적용했다. 그 결과 순응형 실패 사례의 90% 이상이 회복됐다. 이는 필요한 상식이 모델 안에 있지만, 눈에 띄는 방해 정보가 이를 추론 과정에서 밀어낸다는 해석을 뒷받침한다.
• 재학습 없이도 개선 가능: 논문은 가벼운 추론 시점 프롬프팅만으로도 격차를 상당히 줄일 수 있다고 설명한다.

의미와 영향

이 연구는 LLM의 상식 실패를 단순히 “모델이 모른다”는 문제로만 볼 수 없게 만든다. 실제 병목은 지식의 보유 여부가 아니라, 잘못된 과제 설정 속에서 그 지식을 안정적으로 끌어내는 방식일 수 있다.

제품 관점에서는 모델이 곧바로 계산하거나 지시를 수행하기 전에 숨은 전제를 확인하도록 유도하는 프롬프트와 인터페이스가 중요해진다. 평가 관점에서도 정답률뿐 아니라, 무관한 정보에 대한 저항성, 함정을 알아차린 뒤 실제 행동을 바꾸는 능력을 함께 봐야 한다.

SaliTrap은 LLM 상식 추론의 취약점이 모델 내부 능력만의 문제가 아니라, 그 능력을 어떻게 유도하고 활성화하느냐의 문제임을 보여준다.

출처: Hugging Face Daily Papers