AgentHOI：用多模态大模型做免训练的人物交互检测

导语

人物—物体交互检测（HOI Detection）要回答的不只是“图里有什么人和物”，还要判断“人正在和哪个物体发生什么关系”。传统方法通常把它当作一个监督检测任务：在预定义交互类别上训练分类器，并在封闭测试集上评估。问题在于，真实世界里的交互往往组合多样、语义模糊，固定标签体系很难覆盖所有情况。

arXiv 新论文《Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild》提出 AgentHOI，试图把多模态大模型（MLLM）的通用视觉语言推理能力迁移到开放场景 HOI 检测中，而且不需要使用 HOI 数据进行训练。

核心要点

• 从“学分类器”转向“组织推理流程”：AgentHOI 不再训练一个面向特定数据集的交互分类器，而是以 agentic 框架编排多个互补的视觉基础模块，让它们协同完成开放式语义理解与空间 grounding。
• 面向开放世界交互：论文认为，现有一些基于提示的 MLLM 方法更多是在提取判别特征，没有充分释放模型的多模态推理能力。因此在复杂、歧义或未见过的交互场景中，往往难以给出充分的上下文解释。
• 上下文感知的多轮推理：AgentHOI 通过多轮生成和修正交互假设，逐步补全可能被遗漏的关系，尤其适合处理组合式交互和场景中多个主体、多个物体并存的情况。
• 多维交互定位：为了减少定位歧义，框架会生成实例相关描述，把语义、空间位置和外观线索结合起来，再辅助确定具体的人、物体及其关系。
• 训练成本与泛化视角：作者称实验显示，AgentHOI 在真实世界设置下优于已有监督和弱监督方法，同时不需要 HOID 数据训练。这一结论如果在更多基准和应用场景中成立，将对开放词汇视觉理解具有参考意义。

意义与影响

AgentHOI 的价值不只在于提出一个新的 HOI 检测流程，更在于代表了一种趋势：把大模型当作可推理、可调度的通用认知组件，而不是只把它当作特征提取器。对于机器人、视频理解、智能监控、辅助标注等任务来说，开放式交互理解都至关重要。

当然，论文摘要未给出具体实验细节、推理成本和失败案例。免训练框架通常也会面临推理延迟、模型依赖、复杂提示稳定性等问题。后续若能公开代码、展示更多真实场景案例，并系统比较不同基础模型组合的影响，AgentHOI 的实际可用性会更容易判断。

来源：arXiv