AgentHOI: 학습 없이 멀티모달 추론으로 HOI를 탐지하다

들어가며

인간-객체 상호작용 탐지(HOI Detection)는 이미지 안의 사람과 사물을 찾는 문제를 넘어선다. 어떤 사람이 어떤 객체와 어떤 관계를 맺고 있는지를 추론해야 한다. 기존 접근은 대체로 미리 정의된 상호작용 범주를 두고 지도학습 방식의 탐지기로 해결해 왔다. 폐쇄형 벤치마크에서는 강한 성능을 낼 수 있지만, 실제 세계의 다양한 조합과 모호한 장면을 다루는 데에는 한계가 있다.

arXiv 논문 “Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild”는 이러한 문제를 겨냥해 AgentHOI를 제안한다. 이 프레임워크는 HOI 데이터를 사용해 별도의 분류기를 학습하지 않고, 멀티모달 대형 언어 모델과 시각 기반 모듈의 추론 능력을 조합한다.

핵심 내용

• 분류기 학습에서 모듈 조율로 전환: AgentHOI는 특정 데이터셋에 맞춘 상호작용 분류기를 만드는 대신, 여러 시각 기반 모듈을 조율해 개방형 의미 추론과 공간적 그라운딩을 수행한다.
• 프롬프트 기반 전이의 한계 지적: 저자들은 최근 MLLM 활용 HOI 방법들이 주로 판별적 표현을 얻는 데 집중해, 모델이 가진 문맥적 멀티모달 추론 능력을 충분히 쓰지 못한다고 본다.
• 문맥 인식 다중 라운드 추론: AgentHOI는 상호작용 가설을 여러 단계에 걸쳐 만들고 다듬는다. 이를 통해 복잡한 장면에서 누락될 수 있는 관계나 조합적 상호작용을 더 잘 포착하려 한다.
• 다면적 상호작용 위치 지정: 정확한 그라운딩을 위해 의미, 공간 위치, 외형 단서를 통합한 인스턴스별 설명을 생성한다. 이는 유사한 객체가 여러 개 있거나 사람과 물체가 밀집된 장면에서 특히 중요하다.
• 학습 데이터 의존도 완화: 초록에 따르면 AgentHOI는 HOID 데이터로 학습하지 않고도 실제 세계 설정에서 기존 지도학습 및 약지도학습 방법보다 나은 성능을 보였다고 한다.

의미와 영향

AgentHOI는 기반 모델을 단순한 특징 추출기가 아니라, 장면 맥락을 해석하고 가설을 갱신하는 추론 구성요소로 활용하는 흐름을 보여준다. 이는 로보틱스, 비디오 이해, 시각 보조, 감시 영상 분석, 데이터 라벨링 등 상호작용 이해가 필요한 분야에 영향을 줄 수 있다.

다만 공개된 자료만으로는 구체적인 실험 설정, 추론 비용, 지연 시간, 실패 사례를 확인하기 어렵다. 학습 없는 agentic 시스템은 프롬프트 안정성, 모듈 간 조율, 그라운딩 오류에 민감할 수 있다. 그럼에도 AgentHOI는 개방형 시각 이해를 향한 중요한 방향, 즉 “먼저 맥락적으로 추론하고 그다음 공간적으로 근거를 찾는” 접근을 제시한다.

출처: arXiv