Open-o3-Video-v2, 능동적 증거 탐색으로 검증 가능한 영상 추론 구현

들어가며

영상 추론의 신뢰성은 정답률만으로 판단하기 어렵습니다. 모델이 어떤 장면과 객체를 근거로 결론을 내렸는지 확인할 수 있어야 실제 사용과 검증에 더 적합합니다. 기존 영상 시스템은 대개 먼저 일부 프레임을 희소하게 샘플링한 뒤, 그 고정된 입력을 바탕으로 답변합니다. 그러나 중요한 행동이 샘플링 사이에서 발생하면 모델은 필요한 장면을 보지 못한 채 추론할 수 있습니다.

베이징대학교 연구팀이 공개한 Open-o3-Video-v2는 영상 추론을 능동적인 증거 수집 과정으로 바꿉니다. 모델은 현재 정보가 충분한지 판단하고, 부족한 경우 추가 관찰을 요청한 뒤, 결론을 지지하는 시점과 객체를 위치시켜 추론을 이어갑니다. 코드와 모델도 공개됐습니다.

핵심 내용

• 고정 샘플링에서 능동적 관찰로 전환. 초기 프레임만으로 답할 수 있는지 먼저 확인하고, 단서가 부족하면 추가 영상 정보를 가져옵니다.
• 추론 근거를 궤적에 기록. 타임스탬프는 사건이 발생한 시점을 나타내며, 객체 수준 바운딩 박스는 판단을 뒷받침하는 물체나 영역을 지정합니다.
• 다중 턴 학습 데이터 구축. STGR-v2-CoT135K에는 5.2만 개의 다중 턴 에이전트형 grounded reasoning 궤적이 포함됐고, STGR-v2-RL-13K는 강화학습에 사용됩니다.
• 검색의 효율을 보상에 반영. Clue-Seek GRPO는 도구 호출이 누적 증거를 어떻게 바꾸는지 추적합니다. 단서 커버리지와 단계별 정보 증가에는 보상을 주고, 과도하거나 반복적이며 유익하지 않은 검색에는 불이익을 줍니다.
• 여러 영상 과제에서 성능 향상. V-STaR에서 Open-o3-Video-v2-4B는 mAM 40.4%, mLGM 56.3%를 기록했습니다. 이는 Qwen3-VL-4B 백본보다 각각 8.5, 12.6%포인트 높은 수치입니다. 일반 영상 이해, 장시간 영상 추론, 시간적 grounding 과제에서도 일관된 개선이 보고됐습니다.

의미와 영향

이 연구의 핵심은 ‘부족한 단서 파악—추가 증거 획득—객체와 시점 grounding—추론 계속’이라는 순환 구조입니다. 모델은 준비된 프레임을 한 번 해석하는 데 그치지 않고, 현재 추론에 필요한 다음 관찰을 스스로 선택합니다. 이는 장시간 영상, 미세한 동작, 여러 시점의 비교가 필요한 질문에 특히 유용한 접근입니다.

근거를 명시하는 방식도 중요합니다. 타임스탬프는 사건이 언제 일어났는지를 보여주고, 바운딩 박스는 어떤 객체가 판단을 지지하는지 알려줍니다. 따라서 결과가 단순한 언어적 추정인지, 실제 영상 증거에 기반한 것인지 점검하기 쉬워집니다. 다만 능동적 검색은 추가적인 도구 호출과 추론 비용을 발생시킵니다. 검색 횟수를 늘리는 것보다 각 관찰이 증거의 질을 얼마나 높였는지 평가하는 것이 중요합니다.

Open-o3-Video-v2는 능동적 증거 수집과 객체 수준 시공간 grounding이 서로 보완될 수 있음을 보여줍니다. 벤치마크 성능 향상뿐 아니라, 영상 에이전트가 검증 가능한 증거를 만들고 보존하며 활용하도록 훈련하는 방법을 제시했다는 점에서 의미가 있습니다.

출처: Hugging Face Daily Papers