RoboJev：让视觉语言模型判断机器人任务是否成功

机器人学习系统需要大量“成功”与“失败”样本，但现实中的操作视频通常只留下画面，不会明确说明任务是否完成。RoboJev试图补上这一环：它不是控制机器人执行动作，而是作为一个视觉语言模型评审员，根据任务目标和操作结果判断一次尝试是否成功。

核心方法

RoboJev-27B以JEV-27B-VL为基础，输入包括一条任务指令、操作过程中的10帧画面，以及在可用时来自辅助摄像头的最终画面。模型随后直接预测“成功”或“失败”，并通过校准后的双 token 读出，在一次前向推理中给出两类概率。

训练阶段采用秩为32的LoRA适配器，且只更新语言模型部分，视觉编码器保持冻结。研究还加入了针对研究数据来源的特定KL约束，使模型在这些来源上的判断不会过度偏离原始模型。训练数据规模为52,598条 episode 记录。

结果与效率

在同一机器人型号 SO-101 的268条留出数据上，RoboJev取得95.2%的平衡准确率，AUROC达到0.993。面对来自未见过的实验室或机器人数据时，模型在459条 episode 上的AUROC为0.890；在带有明确标签的社区数据上，135条样本的准确率为93.3%。作为对照，基础模型在未见实验室或机器人子集上仍达到0.900的AUROC，说明任务本身并非完全依赖微调，也提示评估时需要区分模型能力与数据分布差异。

推理方面，单张H100以串行方式处理一个 episode 的中位时间为0.26秒。论文按每GPU小时2.69的成本估算，每1,000次成功预测约需0.19美元，但这一估算不包括媒体处理和服务部署成本。项目同时公开推理代码，并提供由20,628次预测组成、覆盖29个模型或协议条目的评估材料，便于复核结果。

意义与限制

RoboJev的价值不只是一个更高的分类分数，而是把机器人视频中的隐性结果转化为可计算标签。它可以帮助整理历史操作数据、筛选训练样本，或作为机器人系统的离线质量检查组件。开放权重和透明评估也降低了研究者复现实验的门槛。

不过，现有结果仍不能等同于对所有机器人任务的可靠判定。模型依赖抽取出的有限帧和可选的最终画面，遮挡、视角变化、长时程目标以及需要触觉信息的任务，都可能带来额外风险。跨实验室数据上的性能下降也表明，部署时仍应结合任务类型、摄像头配置和数据来源进行校准，而不能只看单一准确率。

来源：Hugging Face Daily Papers