把多轮越狱建模为决策过程：M³如何提升黑盒安全测试效率

导语

多轮对话正在成为大模型安全评估中的关键变量。单轮提示往往只能检验模型面对一次直接请求时的防御能力，而连续对话可能通过逐步改变语境、目标和表达方式，考验模型能否持续维持安全边界。arXiv 论文提出的 M³，试图用更系统的方法自动化这一类红队测试。

核心方法：把对话看成决策过程

M³ 将多轮越狱描述为一个有限时域的马尔可夫决策过程。简单来说，系统不再把每一轮看成彼此独立的提示，而是根据此前交互形成的状态，选择下一步行动，并观察目标模型的反馈。

框架包含三个主要角色：

• 攻击者LLM：负责生成下一轮交互策略，与目标模型持续对话。
• 目标LLM：代表待评估的模型，输出对请求的响应。
• 状态LLM：将不断增长的对话压缩成紧凑的内部状态，帮助攻击者理解当前进展。

这种设计的重点不在于公开某个具体的越狱话术，而在于将“如何推进对话”转化为可优化的决策问题。紧凑状态也能减少对完整历史上下文的依赖，使框架更适合黑盒场景：测试者不需要访问目标模型的参数、训练数据或内部安全分类器。

实验结果释放了什么信号

论文在两个基准和六个目标模型上进行评估。结果显示，M³整体优于对比的多轮红队方法，ASR@5最高提升53%。即使使用轻量级攻击者，它相较于采用更高容量攻击者的基线，在ASR@1和ASR@5上仍分别取得最高26%和34%的提升。

另一个值得关注的现象是风险随轮次增长得更快。M³不仅关注最终是否成功，也观察对话轮数与风险变化之间的关系。论文还报告称，该框架在不同风险类别上的表现更加一致，Gini指数最高改善4.82；同时，它不依赖预先设定的风险分类体系。这意味着测试范围不必完全受固定 taxonomy 限制。

意义与边界

M³的价值首先在于提供了一种统一的评估视角：多轮安全测试可以被看作状态跟踪、行动选择和结果反馈组成的连续过程，而不是若干提示的简单拼接。对于模型开发者，这有助于发现单轮评测难以捕捉的累积性风险；对于红队工具开发者，MDP框架也提供了更清晰的自动化方向。

不过，论文摘要披露的结果主要集中在攻击成功率、风险升级和类别一致性等指标上。仅凭这些信息，尚不能判断方法对所有模型、任务类型或真实使用环境的泛化能力，也不能据此推断目标模型已经被普遍攻破。更稳妥的用途是将M³视为安全评估工具：用受控测试暴露薄弱环节，再反过来改进拒答策略、对话状态管理和持续监测机制。

随着模型交互从一次问答转向长期协作，多轮行为建模可能会成为安全评测的基础能力。M³的研究方向提醒业界，防护不能只看单次回答是否合规，还要关注模型在完整对话轨迹中的风险变化。

arXiv