허카이밍 팀, 멀티모달 모델용 시각 Harness ‘VISTA’ 공개

개요

멀티모달 모델이 이미지를 이해할 수 있다고 해서 긴 상호작용 작업에서 시각 경험을 정확하게 보존하고 재사용할 수 있는 것은 아니다. 허카이밍 팀은 논문 ‘VISTA: A Visual Harness for Reasoning in an Interactive World’에서 이 문제를 다루는 시각 네이티브 Harness를 제안했다.

VISTA는 기반 모델을 새로 학습시키는 방식이 아니다. 대신 모델이 시각 정보를 받고, 저장하고, 필요할 때 다시 가져오는 구조를 바꾼다. 환경에서 반환된 원본 화면을 활성 컨텍스트 밖에 보관한 뒤 추론에 필요할 때만 다시 입력한다. 이로써 초기 화면이 컨텍스트 한계로 사라지거나 불완전한 텍스트 요약으로 대체되는 문제를 줄인다.

핵심 구성

• 시각 관측: 현재 환경의 화면을 멀티모달 모델에 직접 제공한다. ARC-AGI-3 실험에서는 공식 64×64 화면을 512×512 PNG로 확대해 색상, 외형, 공간 관계를 유지했다.
• 무손실 시각 기억: 행동 이후 환경이 반환하는 모든 화면을 저장한다. 행동 중간의 애니메이션 프레임도 포함하며, 에피소드와 프레임 번호로 색인한다.
• 능동적 시각 검사: inspect 도구로 특정 과거 화면을 불러오고, 영역을 잘라 확대하거나 여러 프레임을 비교할 수 있다.

각 단계에서 모델은 현재 상태를 관찰하고 다음 행동에 대한 가설을 세운다. 증거가 부족하면 과거 화면을 다시 확인하거나 작은 영역과 픽셀 정보를 조사한다. 행동이 끝나면 예상한 결과와 실제 변화를 비교해 환경 규칙에 대한 이해를 수정한다.

장기 작업의 연속성을 위해 VISTA는 두 종류의 텍스트 메모도 사용한다. GUIDE.md에는 여러 단계에서 재사용할 수 있는 규칙과 경험을 기록하고, WORKING.md에는 현재 상태와 진행 상황, 다음 계획을 적는다. 기본적으로 활성 컨텍스트에는 행동 후 마지막 프레임만 보여주고, 중간 프레임은 필요할 때만 불러와 컨텍스트 사용량을 관리한다.

실험 결과와 의미

ARC-AGI-3에서 VISTA와 함께 사용한 Claude Opus 5.0은 공개된 25개 게임을 모두 완료하고 행동 효율 점수 100을 기록했다. GPT-5.6 Sol도 모든 게임을 완료해 99점을 얻었다. 동일한 GPT-5.6 Sol을 사용한 비교에서 GameWorld 성공률은 40.0%에서 63.3%로, AI GameStore 종합 점수는 47.3에서 140.3으로 상승했다. BabyVision의 미로·선 연결 과제 정확도도 41.0%에서 63.2%로 높아졌다.

이 결과는 Harness가 단순한 텍스트 작업 관리 계층을 넘어 멀티모달 에이전트의 시각 기억 계층으로 기능할 수 있음을 보여준다. 원본 증거를 보존하고 필요한 정보만 다시 확인하는 방식은 외형, 공간 관계, 동적 변화를 다루는 추론에 도움이 될 수 있다. 다만 이번 검증은 주로 게임과 퍼즐에 집중됐으며, 개방적인 물리 환경에서도 안정적으로 작동할지는 추가 연구가 필요하다.

출처: 量子位