Omni-InteractScope가 드러낸 멀티모달 AI의 능동적 상호작용 한계

들어가며

영상과 음성을 계속 관찰하는 AI 비서에게 필요한 능력은 단순한 질문 응답보다 훨씬 복잡하다. 언제 개입해야 하는지, 어떤 행동을 취해야 하는지, 이후에도 추가 대응이 필요한지를 판단해야 하기 때문이다. 그러나 기존 멀티모달 모델 평가는 단일 프롬프트나 한 번의 답변에 집중해, 실시간 환경에서의 타이밍과 주도성, 지속성을 충분히 측정하지 못했다.

《Omni-InteractScope》는 이 공백을 겨냥한 벤치마크다. 입력 모달리티, 사건 트리거, 개입 유형, 사용자 요구를 연결해, 모델이 연속 스트림의 증거를 적절한 시점의 지속적인 대응으로 전환할 수 있는지 평가한다.

핵심 결과

• 실제 상호작용에 가까운 범위. 벤치마크는 사람이 주석을 달고 교차 검토한 상호작용 1,479개와 시간적 타깃 1,790개로 구성되며, 8개 작업 그룹을 포함한다. 명시적 질문에 답하는 과제 외에도 알림, 경고, 상태 추적, 연속 응답, 질문 없는 지원, 사건에 맞춘 도구 호출을 다룬다.
• 도구 호출 시점이 불안정하다. 평가한 12개 모델 중 도구 호출 타깃의 40%를 넘는 비율에서 제때 첫 응답을 낸 모델은 없었다. 시간과 도구의 정확성을 동시에 요구하면 최고 점수도 32.0%에 그쳤다. 도구를 사용할 수 있다는 것과 올바른 사건이 발생한 순간에 사용한다는 것은 별개의 능력이다.
• 질문 없는 리마인더가 특히 취약하다. 모든 모델에서 질문 없는 리마인더의 적시 참조 타깃 재현율은 명시적 질문보다 낮았다. 리마인더 재현율은 최대 23.0%에 불과했다. 모델이 관련 정보를 감지하더라도 사용자가 먼저 묻지 않았을 때 알려줘야 한다는 판단까지 이어지지 않는 경우가 많다는 뜻이다.
• 전체 안내 흐름을 완수하기 어렵다. 26개의 안내 시퀀스 가운데 9개 모델은 완전히 수행한 시퀀스가 하나도 없었다. 나머지 3개 모델도 1~3개만 완전히 커버했다. 개별 답변이 그럴듯하더라도 상태를 유지하고 후속 행동을 이어가는 능력은 여전히 부족하다.
• 도구 점수만으로 근거 연결을 판단할 수 없다. 통제 실험은 도구 호출 점수만으로 모델이 올바른 사건을 근거로 행동했다고 입증할 수 없음을 보여준다. 리마인더 커버리지 역시 응답 이력과 빈도의 영향을 받으므로 단일 성공률 지표는 충분하지 않다.

의미와 영향

이 연구는 평가의 기준을 “모델이 정답을 말하는가”에서 “변화하는 환경에서 적절히 행동하는가”로 확장한다. 웨어러블, 차량용 비서, 실시간 동반자, 실제 환경에서 움직이는 에이전트에서는 너무 이른 개입이 방해가 되고, 너무 늦은 개입은 가치를 잃는다. 초기 사건을 놓치면 이후의 안내 과정 전체가 무너질 수도 있다.

앞으로의 스트리밍 비서는 사건 위치 파악, 개입 시점 조절, 사용자 요구 추론, 응답 빈도 관리, 상태 기반 후속 대응을 함께 개선해야 한다. 평가 역시 단일 응답의 정확도보다 전체 상호작용 흐름을 봐야 한다. 올바른 시점에 반응했는지, 적절한 행동을 선택했는지, 이전 응답을 활용해 계속 대응했는지, 최종적으로 사용자의 목표를 얼마나 커버했는지를 측정해야 한다. 능동적 지능은 더 나은 인식이나 긴 컨텍스트만을 의미하지 않으며, 인식·판단·실행을 안정적으로 연결하는 능력이다.

출처: Hugging Face Daily Papers