인식을 넘어선 시각 추론: HSS가 멀티모달 모델의 직관을 측정하다

들어가며

사람은 장면을 볼 때 눈에 보이는 사물을 단순히 나열하지 않습니다. 짧은 순간에도 무엇이 사건의 원인이었는지, 다음에 어떤 일이 일어날지, 차량이 좁은 틈을 통과할 수 있는지, 방 안에서 누가 주도권을 갖고 있는지를 판단합니다. 이런 추론은 대개 의식적인 분석 없이 이뤄지지만, 일상적인 이동과 협업, 사회적 상호작용을 가능하게 하는 핵심 능력입니다.

논문 Humanity's Sixth Sense는 이를 인간의 ‘육감’에 가까운 능력으로 보고, 멀티모달 대규모 언어 모델이 시각 입력에 명시되지 않은 정보를 복원할 수 있는지 측정하는 벤치마크 Humanity's Sixth Sense, 즉 HSS를 제안했습니다.

HSS가 평가하는 능력

기존 시각 벤치마크는 물체 인식과 같은 저수준 지각이나, 전문 지식과 수학적 사고를 요구하는 장시간 분석에 집중하는 경우가 많습니다. HSS는 그 사이에 있는 능력을 겨냥합니다. 사람이 한눈에 수행하는 빠르고 제로샷적인 상황 이해입니다.

제공된 자료에 따르면 HSS는 이미지와 비디오를 포함하며, 문제를 체계적인 분류 체계로 구성합니다. 사람이 작성한 프롬프트는 다음 네 가지 영역을 중심으로 암묵적 구조를 묻습니다.

• 시간적 구조: 과거의 원인이나 앞으로의 전개를 추론하기
• 공간적 구조: 거리, 접근 가능성, 행동의 실행 가능성을 판단하기
• 사회적 구조: 역할, 상호작용, 권력관계를 파악하기
• 추상적 구조: 암묵적 규칙, 숨은 라벨, 미세한 패턴을 인식하기

따라서 모델은 장면에 등장하는 물체 목록을 만드는 데서 그치지 않고, 시각적 단서를 하나의 상황 해석으로 통합해야 합니다.

인간과 모델 사이의 격차

보고된 결과에서 인간 참가자의 정확도는 93.1%였습니다. 반면 가장 강력한 모델로 제시된 GPT-6-astra는 최대 추론 설정에서도 53.6%에 머물렀습니다. 복잡한 지각이나 지식 활용, 명시적 추론이 필요한 과제에서 뛰어난 모델도 인간이 거의 직관적으로 처리하는 시각적 판단에서는 큰 약점을 보일 수 있다는 의미입니다.

연구진은 시스템이 시각 정보를 동적으로 조작할 수 있는 에이전트형 설정도 살펴봤습니다. 이 방식은 모델과 인간의 격차를 줄였지만 완전히 해소하지는 못했습니다. 더 많이 관찰하고 조작하는 과정이 도움은 되지만, 안정적인 상황 직관을 그대로 대체하지는 못한 셈입니다.

의미와 영향

HSS의 가치는 또 하나의 순위표를 추가하는 데만 있지 않습니다. ‘상식’이나 ‘멀티모달 지능’이라는 넓은 표현에 묶여 있던 능력을 독립적인 평가 축으로 분리했다는 점이 중요합니다. 사람과 함께 일하는 비서형 시스템, 비디오 이해 모델, 체화된 에이전트에게는 물체를 정확히 설명하는 것뿐 아니라 말로 드러나지 않은 공간적 제약, 행동의 방향, 사회적 단서를 이해하는 일이 실제 배치에 더 중요할 수 있습니다.

이 결과는 모델을 더 크게 만들거나 추론 과정을 더 길게 만드는 것만으로 인간과 같은 시각적 직관이 자동으로 생기지는 않을 수 있음을 보여줍니다. HSS가 후속 연구에 활용된다면, 모델이 시간적 인과를 놓치는지, 공간적 가능성을 잘못 판단하는지, 사회적 맥락을 읽지 못하는지, 추상적 규칙을 발견하지 못하는지를 구체적으로 진단할 수 있을 것입니다.

결국 핵심 질문은 간단합니다. 모델은 장면이 무엇을 암시하는지 이해하는가, 아니면 눈에 보이는 내용을 되풀이할 뿐인가? HSS의 초기 결과는 현재의 멀티모달 모델이 아직 전자에 충분히 도달하지 못했음을 시사합니다.

출처: Hugging Face Daily Papers