문제를 풀어도 이해한 것은 아니다: 추론 모델의 체계성 부족

들어가며

추론 모델은 복잡한 프롬프트에 정답을 제시하는 능력을 빠르게 높이고 있다. 그러나 한 문제를 맞혔다는 사실이 해당 문제의 underlying structure, 즉 바탕 구조를 이해했다는 뜻은 아니다. Princeton University의 Simon Schug와 Brenden M. Lake가 발표한 논문 《Thought without systematicity? Evaluating reasoning models on rule induction tasks》는 규칙 유도 과제를 통해 이 차이를 검증했다.

연구의 핵심 개념은 인지과학에서 중요한 ‘체계성(systematicity)’이다. 어떤 개념을 이해한다면 대상, 기호, 조합 방식이 달라져도 구조적으로 가까운 변형을 이해할 수 있어야 한다는 뜻이다. AI에서는 이 특성이 표면적 패턴을 따라 답하는 것과, 학습한 규칙을 새로운 상황에 적용하는 것을 구분하는 기준이 된다.

핵심 내용

• 규칙 유도 과제를 활용했다. 연구진은 규칙을 발견하고 적용하는 능력을 살피기 위해 인지과학에서 사용되어 온 과제군을 추론 모델 평가에 적용했다.
• 구조적으로 동등한 변형을 만들었다. 각 과제의 조합 구조를 바탕으로 과제 동형성을 적용했으며, 구성 요소의 재조합과 기호 또는 대상의 치환 등을 사용했다.
• 원문제의 정답이 변형 문제로 이어지지 않았다. 모델은 원래 과제를 맞히면서도 구조적으로 같은 변형 과제에서는 실패하는 경우가 많았다. 이는 정답이 항상 규칙을 재사용 가능한 형태로 파악했다는 증거는 아님을 뜻한다.
• 단일 형식의 벤치마크에는 한계가 있다. 특정 표현이나 배열만 제공하면 모델이 익숙한 표면 패턴을 이용해 실제보다 높은 능력을 보일 수 있다.

의미와 영향

이 연구는 추론 모델이 전혀 추론하지 못한다고 결론 내리지 않는다. 대신 더 엄격한 평가 기준을 제시한다. 과제의 구조가 유지된다면 재조합이나 치환이 있어도 성능이 안정적으로 유지되어야 한다는 것이다.

따라서 평가에서는 하나의 문제 형식에 대한 정확도뿐 아니라, 구조적으로 동등한 여러 변형 간 일관성도 측정해야 한다. 모델 개발 측면에서는 체계적으로 변형된 학습 예시를 늘리고, 동등한 과제 사이의 일관성을 학습 목표에 포함하며, 전체 정확도와 전이 성능을 분리해 보고하는 접근을 검토할 수 있다.

더 넓게 보면, 긴 사고 과정이나 올바른 최종 답변만으로 견고한 인지 능력이 입증되는 것은 아니다. 모델이 동일한 규칙을 학습 과정에서 보지 못한, 그러나 구조적으로 동등한 상황에도 적용할 수 있어야 특정 벤치마크의 표면적 성공을 넘어섰다고 평가할 수 있다. 체계성은 구성적 일반화와 표면 패턴 의존을 가르는 유용한 평가 관점이 될 수 있다.

출처: Hugging Face Daily Papers