RiskChainBench：把隐写消息恢复与网页取证连成一条评测链

导语：在平台滥用活动中，风险信息往往不会直接写出来。攻击者可能用表情符号、谐音、字符拆分或多余符号隐藏跳转指令，再把用户引向与色情、诈骗、赌博或非法交易相关的服务。对模型而言，这不是单纯的文本纠错，也不是单纯的网页分类，而是一条从消息解码、目的地恢复到网页取证的连续链路。

RiskChainBench正是为这类链式能力设计的基准。研究者准备了600个源会话，并生成3600条合成的隐写消息恢复输入；同时构建了600个与之对应、经过人工标注的本地网页环境。模型首先需要恢复消息内容、操作意图和目标入口，随后由同一模型作为视觉语言网页智能体，调查正确关联的网站，并输出带证据引用的风险报告。调查阶段不提供消息侧语义，也不依赖域名信誉提示，因而更接近对网页内容和页面证据本身的判断。

核心要点：

• 评测被拆为消息恢复与网页调查两项任务，避免把“找错网站”与“判断错风险”混为一谈。
• 端到端结果采用离线组合方式：以冻结的主入口预测作为门控，再调用同一份网页调查结果，从而观察上游错误如何影响下游。
• 十个模型的入口Top-1准确率为35.2%至95.2%，网页决策准确率为26.3%至62.8%；领先模型并不在所有子任务中保持一致。
• 评分不仅看任务是否答对，还由固定的多模态证据评估器衡量报告的忠实性、充分性、完整性与一致性。
• 网页运行失败占全部网页运行的31.9%，说明实际瓶颈不仅是风险分类，也包括稳定探索和工具执行。

意义与局限：这项工作的重要价值，在于把安全评测从“文本是否被还原”推进到“还原结果能否支持后续调查”。如果入口恢复阶段出现偏差，智能体可能从一开始就进入错误页面；即使找对网站，也仍需识别页面线索、组织证据并做出细粒度判断。因此，单看文本准确率或最终风险标签，都可能高估系统在真实滥用链路中的可靠性。

不过，基准目前使用合成输入和受控本地网页环境，且公开的任务代码与协议快照尚不是完整复现包，完整回放数据和仅供评测使用的资源暂未公开。它更适合作为可控条件下的诊断工具，而不是对真实平台攻防能力的最终结论。后续评测还需要继续关注环境多样性、执行稳定性，以及证据引用是否真正支撑模型的判断。

来源：Hugging Face Daily Papers