Kolab：用真实职业工作流重新评估人类与 AI 的协作

导语

当 AI 代理被用于真实工作时，问题通常不是“它能不能一次性把任务做完”，而是它能否在数小时甚至更长的流程中，与人持续调整目标、计划和执行方式。一个看似正确的建议，可能被专家直接采用，也可能被修改后嵌入下一步工作，甚至因为不符合专业判断而被放弃。传统自动化基准往往只看最终任务是否完成，因此很难衡量这种过程性的协作能力。

Kolab 测量什么

研究团队推出 Kolab，用真实职业工作流补足这一缺口。数据集包含 50 位来自 40 个职业的专业人士，与 AI 代理处理长期、相互依赖的问题，累计提供超过 115 小时的屏幕录制。同时，参与者还对协作体验和最终产出质量进行了判断。

Kolab 的评测重点并非单一答案的正确率，而是两个更贴近实际使用的问题：

• 预测贡献如何被使用：模型需要判断专家会采纳、修改还是拒绝某项代理输出，并据此推测后续步骤。
• 识别协作质量：模型要根据逐步展开的工作流，判断参与者是否满意、产出是否达到较高质量，而不是依赖专家持续提供明确反馈。

这意味着，代理必须理解自己的输出离开聊天窗口后会如何进入文档、分析、决策或其他专业流程。它还需要识别上下文中的隐性信号，例如计划是否被重写、建议是否真正改变了行动，以及人类是否正在绕开它的结果。

研究发现

Kolab 展现出多样的人机协作模式，也说明“生成得好”不等于“合作得好”。研究显示，当前前沿模型——无论是具备代理能力的系统，还是普通模型——都倾向于高估自己与专家的协作效果，并且难以稳定区分高质量和低质量协作。简单地提供更长的工作流上下文，也没有持续改善这些预测。

意义与影响

这项工作提醒业界重新思考代理评测指标。对于长期任务，最终是否完成只是结果的一部分；更关键的是，系统能否在合适的时机提出可用建议，理解人类的修订意图，并在缺少即时反馈时判断协作是否偏离目标。Kolab 将专业人士的实际操作和主观判断纳入同一评测框架，为研究更可靠的协作代理提供了数据基础。

不过，素材目前主要呈现数据集设计和总体发现，尚未提供各职业、模型或任务类型的细分结果。因此，它更适合作为研究方向和评测框架的信号，而不是对某一具体代理产品能力的全面排名。

来源：Hugging Face Daily Papers