VIABench: 시각장애 지원을 위한 실제 1인칭 영상 평가 벤치마크

들어가며

멀티모달 대형 언어모델은 이미지와 영상을 이해하는 능력에서 빠르게 발전하고 있다. 하지만 이 기술이 시각장애인의 일상적인 이동과 상호작용을 실제로 도울 수 있는지는 별개의 문제다. 보조 시스템은 단순히 장면을 설명하는 데 그치지 않고, 환경 변화를 파악하며, 사용자의 의도를 이해하고, 필요한 순간에 알맞은 안내를 제공해야 한다.

VIABench는 이러한 현실적 요구를 평가하기 위해 제안된 영상 벤치마크다. 일반적인 영상 이해 과제가 아니라, 시각장애 지원이라는 구체적인 사용 환경에 맞춰 설계됐다는 점이 핵심이다.

핵심 내용

• 실제 사용자 관점의 데이터: VIABench는 761개 영상, 14,526개의 수작업 정제 주석, 총 46.9시간의 영상을 포함한다. 영상은 시각장애인이 직접 촬영하거나 공유한 1인칭 시점 자료로, 실사용 환경에 더 가깝다.
• 세 가지 보조 과제: 첫째는 사전 알림으로, 진행 중인 영상을 해석하고 이동에 중요한 사건을 미리 말로 알려줄 수 있는지를 평가한다. 둘째는 시각 질의응답으로, 주변 환경이나 물체에 대한 사용자의 질문에 답하는 능력을 본다. 셋째는 시각 기반 상호작용 안내로, 사용자가 환경과 의도적으로 상호작용할 때 필요한 맥락 추론 능력을 시험한다.
• 온라인·오프라인 평가 지원: 연구진은 실시간 설정과 오프라인 설정을 모두 다루는 평가 파이프라인을 제안했다. 또한 능동적 지원을 평가하기 위해 Token-Level Prompt Activation Decoding, 즉 TPAD라는 2단계 프레임워크를 도입했다.
• 현 모델의 한계 확인: 평가 결과, 현재의 MLLM은 실제 시각장애 지원을 안정적으로 수행하기에는 부족한 점이 많았다. 특히 사전 알림 과제는 현재 화면을 이해하는 것뿐 아니라 앞으로의 중요 사건을 예측하고 적절한 시점에 반응해야 하므로 난도가 높다.

의미와 영향

VIABench의 의미는 평가 기준을 “영상을 이해하는가”에서 “사람이 더 안전하게 행동하도록 도울 수 있는가”로 옮겼다는 데 있다. 보조 기술에서는 늦은 경고나 부정확한 설명이 사용성은 물론 안전에도 영향을 줄 수 있다. 따라서 시간 정렬, 예측 능력, 맥락 기반 추론이 중요한 평가 요소가 된다.

이 벤치마크는 향후 연구가 어디에 집중해야 하는지도 보여준다. 더 강한 스트리밍 영상 이해, 안정적인 실시간 추론, 사용자 의도와 환경 변화에 대한 세밀한 파악이 필요하다. VIABench는 멀티모달 AI를 데모 수준의 기능에서 실제 접근성 도구로 발전시키는 데 중요한 기준점이 될 수 있다.

출처: Hugging Face Daily Papers