ActiveVision: 멀티모달 모델의 ‘능동적 관찰’을 묻는 시험

도입

인간의 시각은 한 장면을 한 번 훑고 끝나는 과정이 아니다. 우리는 먼저 가설을 세우고, 중요한 부분을 다시 보며, 증거를 모아 판단을 고친다. 남가주대학교 등이 참여한 연구진은 이런 과정을 ActiveVision이라는 벤치마크로 측정하려 했다. 핵심 질문은 현재의 멀티모달 대형언어모델(MLLM)이 정말로 능동적으로 관찰할 수 있는가이다.

기존의 많은 비전-언어 평가는 이미지 한 장과 질문 하나를 주고 최종 답을 채점하는 방식에 가깝다. 하지만 실제 시각 과제는 더 복잡하다. 세부 영역을 확인하고, 부분적인 결론을 검증하며, 부족한 증거를 찾아 다시 보는 과정이 필요하다.

핵심 요점

• 정적 인식이 아니라 관찰 루프를 평가: ActiveVision은 3개 범주, 17개 과제로 구성된다. 과제들은 단순한 이미지 설명이나 한 번의 전체 인상만으로 풀기 어렵게 설계됐다.
• 최신 모델도 크게 부진: 논문에 따르면 평가된 모델 중 최고 성능인 GPT-5.5도 공개된 최고 추론 노력 설정에서 10.6%의 항목만 해결했으며, 17개 과제 중 11개에서는 0점을 기록했다. 여러 추론·코딩 리더보드에서 강한 Claude Fable 5도 3.5%에 그쳤다.
• 인간과의 격차가 뚜렷함: 인간 참여자 3명은 평균 96.1%를 기록했다. 이는 과제 자체가 불가능한 것이 아니라, 현재 모델이 특정한 시각적 능동성에서 약하다는 점을 시사한다.
• 비전 코드 작성도 충분한 해결책은 아님: 모델이 직접 시각 처리 코드를 작성하고 실행하도록 해도 격차는 상당 부분 남았다. 실제 이미지에서는 코드가 불안정할 수 있고, 그 실패를 알아차리는 일 자체가 능동적 시각 인식을 요구하기 때문이다.

의미와 영향

ActiveVision이 던지는 메시지는 분명하다. 모델이 이미지를 그럴듯하게 설명하는 능력과, 필요한 증거를 찾아가며 관찰하는 능력은 다르다. 복잡한 장면 이해, 자동 검사, 로보틱스, 문서 분석, 이미지 기반 검색 같은 분야에서는 “무엇이 보이는가”뿐 아니라 “다음에 어디를 봐야 하는가”가 중요하다.

이 연구는 향후 멀티모달 모델 개발 방향에도 영향을 준다. 더 강한 언어 추론이나 더 큰 비전 인코더만으로는 충분하지 않을 수 있다. 논문은 지각과 추론을 닫힌 고리로 연결하는 구조와 학습 목표가 필요하다고 본다.

물론 ActiveVision이 기계 시각 지능 전체를 정의하는 것은 아니다. 그러나 정적 이미지 질의응답을 넘어, 모델이 어떻게 보고 확인하는지를 평가해야 한다는 점을 분명히 보여주는 벤치마크로 의미가 있다.

출처: Hugging Face Daily Papers