Video-IFBench, 동영상 멀티모달 모델의 지시 준수 능력 평가

들어가며

동영상 멀티모달 대규모 언어 모델은 객체 인식, 사건 설명, 질문 응답 등에서 강한 성능을 보여 왔다. 그러나 답변이 맞아 보인다고 해서 사용자의 지시를 모두 수행했다는 뜻은 아니다. 실제 사용자는 화면과 소리를 함께 근거로 삼으라고 요구하거나, 여러 작업을 동시에 제시하고, 동영상 속 사건에 따라 다른 답변 경로를 선택하게 하며, 특정 형식으로 결과를 출력하라고 요청할 수 있다.

기존 동영상 벤치마크는 대체로 최종 답변의 정확도에 초점을 맞췄다. Video-IFBench는 이 공백을 겨냥해 동영상 내용 이해와 사용자가 지정한 제약의 실행을 분리해서 평가한다.

핵심 내용

• 네 가지 지시 템플릿: 단일 작업, 다중 작업, 선택, 중첩 지시를 포함한다. 특히 선택과 중첩 구조에서는 동영상 내용을 확인한 뒤 올바른 분기나 처리 경로로 이동해야 한다.
• 시각·음성 근거 활용: 제약은 화면 정보뿐 아니라 음성 내용에도 기반할 수 있다. 실제 시청각 상호작용에 가까운 평가를 지향한다.
• 세분화된 제약 체계: 32개 작업 유형과 사람이 설계한 39개 제약 범주를 다룬다. 의미적 요구사항과 출력 형식 같은 표면적 요구사항을 모두 포함한다.
• 반자동 데이터 구축: MLLM, 프로그램 기반 처리, 사람의 검증을 결합해 주석 비용을 줄이면서 약 1.5K개의 샘플을 구성했다.
• 다수 모델 평가: 20개가 넘는 최신 MLLM을 대상으로 정답 여부뿐 아니라 지시를 얼마나 충실하게 따르는지도 살폈다.

무엇이 어려운가

보고된 결과는 현재 모델의 동영상 지시 준수 능력이 여전히 충분하지 않다는 점을 보여준다. 한 프롬프트에 포함된 제약이 많아질수록 모델은 일부 요구사항을 빠뜨리기 쉽다. 의미적 제약도 어렵다. 모델은 먼저 동영상 속 사건을 해석한 뒤, 그 결과를 사용자가 지정한 답변이나 작업으로 정확히 연결해야 하기 때문이다.

조건 분기는 또 다른 취약점이다. 모델이 관련 사건을 일부 인식하더라도, 그 정보를 다음 단계의 경로 선택에 사용하지 못할 수 있다. 따라서 실패가 항상 동영상 자체를 잘못 본 결과는 아니다. 계획 수립, 조건 판단, 후속 실행이 완결되지 않은 결과일 수도 있다.

의미와 한계

Video-IFBench의 중요한 기여는 이해 능력과 상호작용 신뢰성을 구분한 데 있다. 동영상 비서, 멀티미디어 검색, 멀티모달 에이전트에서는 조건 하나를 누락하거나 음성 증거를 무시하거나 출력 형식을 어기는 것만으로도 답변의 실용성이 크게 떨어진다. 제시된 분류 체계는 오류가 지각, 의미 추론, 지시 실행 중 어느 단계에서 발생했는지 분석하는 데도 도움을 준다.

다만 공개된 요약에서 확인되는 데이터 규모는 약 1.5K 샘플이며, 모델별 상세 점수나 순위는 제시되지 않았다. 따라서 이 연구는 동영상 지능 전체를 결정하는 순위표라기보다 지시 준수 능력을 진단하는 도구로 보는 편이 적절하다. 동영상 질의응답 정확도만으로는 실제 환경에서의 신뢰성을 충분히 설명하기 어렵다는 점도 이 작업이 던지는 중요한 시사점이다.

출처: Hugging Face Daily Papers