Stripe 用真实集成任务测试 AI 智能体：会写代码，但不擅长验证

导语

Stripe 发布并开源了一套面向 AI 智能体的软件工程基准测试，用来评估模型是否能够端到端完成真实 Stripe 集成，而不只是生成一段看似可用的代码。这个测试的关注点很明确：在支付、订阅、结账等对正确性要求极高的金融系统里，AI 是否能运行服务、调用 API、操作浏览器，并最终验证业务流程确实成立。

核心要点

• 测试更接近真实工程，而非静态刷题。 基准由 11 个可复现环境组成，包含应用代码库、数据库、脚本和测试用 Stripe API 密钥，任务覆盖 Checkout 迁移、Billing API 建模、后端集成、全栈工作流和订阅场景。
• 智能体需要使用完整工具链。 评测统一基于 Goose 和 Model Context Protocol（MCP），提供终端、浏览器自动化和文档检索能力。模型不仅要改代码，还要启动服务、与 Stripe API 交互，并通过自动化测试或模拟用户流程证明结果有效。
• 表现差异主要出现在验证环节。 Stripe 没有公布整体成功率，但披露了部分分项结果：Claude Opus 4.5 在四类全栈 API 集成场景中平均分为 92%，GPT 5.2 在两类标准化实训任务中得分 73%。最优样本平均交互轮次达到 63 轮，说明长流程执行能力已有提升。
• 高频故障并非简单“不会写代码”。 在 SDK 升级等场景中，智能体有时会把预期中的 HTTP 400 错误当成流程正常的证据；而在浏览器结账任务中，工具切换可能导致输入框失焦、页面状态被破坏，模型却无法可靠恢复。

意义与影响

这项基准测试传递出的信号是，AI 编程智能体的竞争焦点正在变化。过去评估代码模型时，常见方式是看它能否补全函数、通过单元测试或修复局部 bug；而 Stripe 的场景要求模型理解支付业务、管理跨系统状态，并在真实 API 和浏览器交互中处理不稳定反馈。

对企业开发而言，这一点尤其重要。支付集成不是“页面能打开”就算完成，幂等性、重试机制、权限错误、错误参数处理和对象状态一致性都可能影响生产安全。素材中提到，从业者也指出，许多现有智能体评测仍未覆盖这些真实工程中的高发问题。

因此，Stripe 的结论并不是 AI 智能体没有价值，而是它们还缺少稳定的集成验证层。它们已经能在部分任务中完成相当复杂的实现，但距离独立交付金融级集成仍有差距。后续如果要让 AI 代理承担更多软件工程职责，评测与工具链都需要强化三类能力：处理模糊校验信号、稳定控制浏览器状态，以及在类生产系统中完成可靠的端到端验证。

来源：InfoQ 中文