시간순 기록을 넘어: GEB가 장시간 영상 속 객체의 ‘전기’를 만든다

들어가며

장시간 영상에 관한 질문에 답할 때 어려운 점은 관련 장면을 찾는 데만 있지 않습니다. 서로 다른 시점에 보이는 객체가 같은 물리적 개체인지 판단해야 합니다. 예를 들어 아침에 주방에 있던 파란 컵이 저녁에는 거실에서 사용될 수 있습니다. 시간순 설명만 저장하는 시스템은 비슷한 컵을 혼동하거나, 같은 컵이 여러 번 등장한 기록을 서로 연결하지 못할 수 있습니다.

Amazon Science가 제안한 Grounded Entity Biographies(GEB) 는 이 문제를 해결하기 위해 사건만 나열하는 대신 엔티티를 중심으로 장시간 영상의 기억을 구성합니다. 시각적으로 근거가 확인된 동일한 물리적 개체에 대해 시간에 걸친 ‘전기’를 만드는 것이 핵심입니다.

핵심 내용

• 사건 중심에서 엔티티 중심으로: GEB는 각 클립의 관찰을 고립된 기록으로 남기지 않고 동일한 물리적 인스턴스의 관찰을 하나로 묶습니다.
• 장면의 맥락 유지: 관찰을 연결한 뒤에도 객체가 언제, 어디서, 어떤 사건 속에서 나타났는지에 대한 정보를 보존합니다.
• 전기와 사건 증거를 함께 검색: 질의응답 단계에서는 관련 엔티티 전기를 해당 장면의 증거와 함께 가져옵니다. 모델은 객체의 정체성 연결과 순간별 맥락을 동시에 활용할 수 있습니다.
• 시각적 동일성 연결의 중요성: 절제 실험에서는 텍스트 설명을 더 추가하는 것만으로 성능 향상을 완전히 재현할 수 없었습니다. 시각적 정체성 연결과 질문 단계에서 전기를 읽는 과정이 모두 기여했습니다.

평가 결과

연구진은 하루 또는 일주일에 걸친 기록을 포함한 네 개의 벤치마크에서 객관식과 개방형 질의응답을 평가했습니다. GEB는 기존 장시간 영상 메모리 프레임워크보다 전반적으로 나은 결과를 보였으며, EgoLifeQA에서 72.0% 정확도를 달성했습니다. 이는 자료에서 언급된 기존 최고 공개 결과보다 4.4%포인트 높은 수치입니다.

제공된 자료에는 전체 구현 세부사항이 포함되어 있지 않습니다. 따라서 GEB는 단순히 모델에 더 긴 텍스트를 입력하는 방식이라기보다, 시각적 정체성, 사건 맥락, 검색을 함께 설계한 장시간 영상 메모리 프레임워크로 이해하는 편이 적절합니다.

의미와 과제

GEB가 강조하는 것은 시간적 연속성과 객체 정체성의 연속성이 서로 다르다는 점입니다. 생활 기록, 감시 영상, 장기간 로봇 인지에서는 어떤 사건이 일어났는지만 아는 것으로 부족합니다. 질문이 가리키는 특정 객체가 이후 어디에 등장했고 어떤 변화를 보였는지도 추적해야 합니다.

물론 가림, 시점 변화, 비슷한 외관은 시각적 동일성 추정을 어렵게 만들 수 있습니다. GEB의 중요한 시사점은 설명을 많이 생성하는 것만으로는 충분하지 않으며, 장기적인 영상 기억을 위해 신뢰할 수 있는 객체 수준의 연결이 필요하다는 것입니다.

출처: Hugging Face Daily Papers