Momentic：让 AI 代理像用户一样探索应用并寻找漏洞

导语

软件开发正在更快地产生代码，但“写出来”并不等于“能稳定运行”。来自 YC W24 的 Momentic 试图把大语言模型从代码生成器转变为软件测试执行者：让代理直接使用 Web、iOS 和 Android 应用，自主规划步骤、探索界面和用户流程，再提交可能的缺陷报告。

核心要点

• 从操作应用开始测试：Momentic 的 QA 代理不是单纯生成断言或测试脚本，而是尝试像真实用户一样进入应用、点击控件、完成流程，并根据反馈决定下一步。
• 降低测试脚本维护负担：团队认为，Playwright、Selenium 和 Maestro 等端到端框架通常要求测试作者固化 XPath、文本或 aria 属性。应用一旦改版，脚本就可能需要反复修订。Momentic 希望让代理更多依赖对界面和任务目标的理解。
• 面向复杂用户路径：其演示和示例强调，代理可以检查控制项及用户流程。素材还展示了一个消费金融应用中的登录路由问题：新设备验证提示被跳过，导致一道安全检查在流程中被静默绕过。
• 回应代码代理时代的测试缺口：Momentic 创始团队来自 Robinhood、Retool、WeWork 和 Qualtrics 等公司的开发工具与基础设施岗位。他们认为，代码代理会加速变更，而测试体系若跟不上，失败变更的风险可能上升。

这意味着什么

传统自动化测试的优势是确定、可重复，但它往往需要工程师提前知道页面结构，并把这些实现细节写进脚本。AI 代理的吸引力在于，它理论上可以从“我要完成什么任务”出发，动态寻找可行路径，因此更适合覆盖尚未被明确编写成测试用例的行为组合。

不过，这种方式也带来新的评估问题。代理是否真的覆盖了关键路径，是否会漏报安全缺陷，报告能否稳定复现，都比“能否完成一次点击”更重要。Momentic 在发布材料中援引一项 DeepSWE v1.1 对比，称模型在禁止编写测试时的通过率为 66.2%，允许编写测试时为 65.3%，借此说明测试生成并不必然带来更好的验证结果；这一数字属于其材料中的论据，仍需要更多独立评估。

总体来看，Momentic 的方向不是消灭 Playwright 或 Selenium，而是尝试把最耗时的探索、用例维护和缺陷发现交给代理。若这类系统能同时提供稳定复现、清晰证据和较低误报率，它可能成为现有 CI 流程之外的一层“主动探索”能力。当前公开信息仍主要来自公司发布帖和演示，产品在真实项目中的覆盖深度与可靠性，还需要实际使用进一步检验。

Hacker News