SimuVerity：让智能体生成的 Simulink 模型接受工程级检验

导语

让大语言模型生成一个能打开、能编译的 Simulink 模型，已经不是完全不可行的任务。但在工程场景中，“可以运行”只是起点：模型还必须正确表达系统机制，在不同工况下保持可靠，并满足明确的控制、因果和动态响应要求。论文《SimuVerity: Benchmarking Agents for Engineering-Grade Simulink Model Generation》关注的正是这一层被现有基准忽略的问题。

从“能执行”走向“合格”

现有 Simulink 生成评测往往围绕三个指标展开：模型能否编译、能否执行，以及结构上是否接近参考模型。这些指标适合检验基本可用性，却无法回答一个更关键的问题：生成结果是否实现了题目要求的工程行为？结构相似也可能只是表面一致，不能替代对输出、机制和稳定性的验证。

SimuVerity 构建了 101 个“文本到可执行 Simulink 模型”的任务，覆盖十个工程领域。每个任务都配有用于锚定规格的可执行系统剖面，以及四类原生仿真场景。换言之，评测不只看最终文件是否存在，而是把自然语言中的工程要求转化为可以运行和检查的测试依据。

分层评估与六个维度

它采用分层评估流程，先检查模型是否完成交付、是否能够在原生环境中执行，再判断其是否达到工程合格标准。只有通过前置筛选的模型，才会进入更细致的质量评分。后续评价覆盖六个方面：

• 准确性：模型输出是否符合任务要求；
• 输出质量：结果是否达到预期的信号或系统表现；
• 机制保真度：内部结构是否正确反映目标系统机制；
• 控制与因果完整性：控制逻辑、变量关系和因果链是否成立；
• 工作域鲁棒性：模型在规定运行范围内是否稳定可靠；
• 动态响应：系统对输入变化的时序和响应特征是否合理。

这种设计的重要之处在于，它把“模型像不像参考答案”与“模型是否解决了工程问题”区分开来。对于本身存在多种合理实现方式的系统，这种差异尤其关键。

结果说明了什么

研究团队使用 SimuVerity 评测了六个智能体系统，最佳系统的总体得分只有 42.86。结果表明，当前瓶颈并不只存在于生成阶段：一部分模型甚至无法交付或执行，另一部分模型虽然通过了基础筛选，却仍然难以同时满足多维工程要求。

论文还指出，模型的视觉布局与工程表现并不总是同步。有些得分较高的模型仍存在严重的界面和布局混乱。这提醒我们，整洁的图形结构不能直接证明模型正确；反过来，布局不理想也不必然意味着仿真行为完全失效。评测应当把可执行行为、系统机制和可读性分别处理，而不是用单一代理指标替代工程验证。

意义与影响

SimuVerity 的价值不只是提供一个排行榜，更在于提供诊断框架。对模型开发者而言，它可以帮助区分“不会生成可用工件”和“生成后无法满足复杂规格”这两类失败；对基准设计者而言，它展示了如何把文本规格、仿真场景和分层判定结合起来。

随着智能体进入控制系统、物理建模和工程自动化流程，编译成功不应再被视为终点。未来的评测需要更多关注跨工况表现、因果一致性和动态行为，而 SimuVerity 为这种工程级衡量提供了一个系统化起点。

来源：Hugging Face Daily Papers