MiniMax-H3는 물리 세계를 추론할 수 있을까?

들어가며

옴니모달 모델의 성능을 영상의 선명도나 음성의 자연스러움만으로 판단하기는 어렵다. 더 중요한 질문은 각 입력이 일부 단서만 제공할 때 모델이 텍스트, 이미지, 영상, 오디오를 함께 해석해 무슨 일이 일어나는지, 그리고 다음에 어떤 변화가 일어날지를 추론할 수 있느냐는 것이다. 이번 연구는 MiniMax-H3를 대상으로 이 문제를 살펴보는 물리 세계 추론 평가 프레임워크를 제시했다.

무엇을 평가했나

기존 영상 생성 및 월드 모델 평가에서는 프롬프트가 목표 영상의 내용을 직접 설명하는 경우가 많다. 이번 프레임워크는 한 가지 모달리티만으로 답을 찾기 어렵고, 서로 다른 입력의 보완적인 정보를 결합해야 하는 상황을 의도적으로 구성했다. 주요 시나리오는 다음 네 가지다.

• 암시적 프롬프트와 여러 프레임: 불완전한 언어 단서와 복수의 화면을 바탕으로 사건과 상태 변화를 추론한다.
• 오디오-이미지 추론: 소리의 단서와 정적인 시각 정보를 결합해 모호한 상황을 판단한다.
• 비디오 프리픽스 추론: 이미 진행된 영상의 앞부분을 보고 뒤에 일어날 움직임이나 사건을 예측한다.
• 오디오-비디오 추론: 환경음과 연속 영상을 함께 해석해 사건을 더 완전하게 이해한다.

따라서 이 평가는 단순한 콘텐츠 인식이 아니다. 모델은 여러 신호를 정렬하고, 어떤 입력에도 명시되지 않은 잠재적 사건 상태를 추정해야 한다.

결과가 보여주는 것

517개 평가 사례에서 MiniMax-H3의 전체 성공률은 41.97%였다. 세부 결과에는 차이가 컸다. 비디오 기반 의사결정 추론은 56.00%로 가장 높았고, 오디오 기반 모호성 해소 추론은 27.40%로 가장 낮았다. 영상의 시간적 정보는 일부 판단을 돕지만, 오디오가 결정적인 단서가 되는 상황에서는 모달리티 간 통합이 아직 안정적이지 않다는 뜻으로 해석할 수 있다.

다만 41.97%를 모델의 일반적인 ‘세계 이해 점수’로 받아들여서는 안 된다. 이 수치는 크로스모달 정보 보완을 드러내도록 설계된 특정 과제군에서의 결과다. 517개 사례라는 평가 규모와 새로운 방법론을 제안하는 연구의 성격을 고려하면, 다른 모든 영상 모델과의 확정적인 순위보다 능력의 편차와 실패 조건을 파악하는 지표로 보는 편이 적절하다.

의미와 남은 과제

이번 연구의 핵심 기여는 옴니모달 모델 평가의 기준을 ‘여러 종류의 콘텐츠를 생성할 수 있는가’에서 ‘서로 다른 증거를 추론에 활용할 수 있는가’로 확장했다는 점이다. 향후 월드 모델, 임바디드 시스템, 멀티미디어 에이전트에서는 단순히 보고 듣는 능력보다 신호 사이의 관계를 이해하고 합리적인 예측으로 연결하는 능력이 중요해진다.

동시에 입력 모달리티를 늘린다고 추론 능력이 자동으로 향상되지는 않는다. 오디오와 영상의 시간 동기화, 의미 정렬, 불확실성 처리가 실제 성능을 좌우할 가능성이 크다. 연구진은 평가 세트와 생성 결과를 LLM으로 자동 평가하는 파이프라인을 공개할 계획이라고 밝혔다. 관련 자료가 공개되면 재현 가능한 비교와 후속 연구가 한층 쉬워질 것으로 보인다.

출처: Hugging Face Daily Papers