EVAThink: 영상 증거에 따라 직접 답변과 추론을 고르는 모델

들어가며

비디오 시각언어 모델(VLM)은 언제 길게 추론해야 하고, 언제 바로 답해야 할까요? 영상 이해에서 추론 비용은 항상 같은 방식으로 투입될 필요가 없습니다. 샘플링된 프레임에 질문의 답이 명확히 드러난다면 직접 답변이 효율적일 수 있습니다. 반대로 필요한 장면이 일부만 보이거나 단서가 흩어져 있다면, 모델이 여러 단서를 연결하는 명시적 추론이 도움이 될 수 있습니다. EVAThink는 영상 증거의 충분성을 이런 선택의 기준으로 학습합니다.

핵심 방법

• 회복 가능한 증거 격차를 발굴합니다. 연구진은 같은 질문, 같은 정답, 같은 프레임 예산을 유지하면서 증거가 풍부한 영상 뷰와 증거가 희소한 뷰를 구성합니다. 따라서 단순히 더 많은 프레임을 제공하는 것이 아니라, 관찰된 증거의 차이가 성능에 미치는 영향을 비교할 수 있습니다.
• 추론이 실제로 도움이 되는 샘플만 남깁니다. 희소한 뷰의 직접 답변 정확도가 밀집 뷰보다 낮지만, 명시적 추론을 적용하면 성능이 개선되는 쌍을 선별합니다. 이는 증거가 부족한 모든 상황에서 무조건 생각하라는 신호가 아닙니다. 남아 있는 단서를 조합하면 답을 회복할 수 있는 상황을 구체적으로 가르치는 방식입니다.
• 2단계 강화학습으로 조정합니다. 첫 단계에서는 증거 상태에 따라 직접 답변과 추론 중 하나를 선택하는 경향을 학습합니다. 두 번째 단계에서는 응답 효율을 다듬습니다. 또한 첫 번째 토큰의 어드밴티지를 정규화해 항상 추론하거나 항상 바로 답하는 모드 붕괴를 완화합니다.

결과와 영향

EVAThink는 6,700개의 선별 샘플만으로 학습되었습니다. 제공된 자료에 따르면 32프레임과 64프레임 예산 모두에서 여러 비디오 이해 벤치마크의 기본 모델을 일관되게 개선했으며, 평균적으로 강력한 기준선도 앞섰습니다. 다만 원자료에는 전체 점수표와 과제별 세부 수치가 제시되지 않았으므로, 모든 개별 과제에서 항상 우세했다고 확대 해석해서는 안 됩니다.

이 연구의 중요한 시사점은 영상 추론을 고정된 절차가 아니라 조건부 계산으로 다룬다는 데 있습니다. 증거가 분명할 때는 불필요한 생성 비용을 줄이고, 정보가 불완전하지만 연결 가능한 단서가 있을 때는 추가 추론을 사용하는 방식입니다. 향후에는 관련 프레임을 능동적으로 고르는 기술, 증거 위치 지정, 장시간 영상 검색과 결합해 모델이 얼마나 오래 생각할지뿐 아니라 무엇을 먼저 볼지도 결정하게 만들 수 있습니다.

출처: Hugging Face Daily Papers