Momentic、AIエージェントでアプリを操作してバグを探索

概要

コード生成の速度が上がっても、ソフトウェアの信頼性が自動的に高まるわけではない。YC W24のスタートアップMomenticは、大規模言語モデルをコード生成だけでなく、ソフトウェアテストの実行に使おうとしている。同社のQAエージェントは、Web、iOS、Androidアプリを操作し、行動を計画し、画面やユーザーフローを探索しながら、問題の可能性を報告する。

主なポイント

• アプリを実際に使って検証する：単にアサーションやテストコードを生成するのではなく、ログインや操作の流れを進め、観測結果に応じて次の行動を選ぶことを目指す。
• 脆いセレクターへの依存を抑える：Playwright、Selenium、Maestroなどでは、XPath、テキスト、aria属性といった実装詳細をテストに埋め込むことが多い。画面変更のたびにスクリプトを修正する負担が発生するため、Momenticはタスクの目的や画面の意味をより重視する方式を提案する。
• ユーザーフローを対象にする：同社は、画面上のコントロールや一連の操作を調べられると説明している。素材の例では、消費者向け金融アプリのログイン経路変更により、新しい端末向けの本人確認プロンプトが表示されず、安全確認が静かにスキップされた。
• コーディングエージェント時代の課題に対応する：創業者はRobinhood、Retool、WeWork、Qualtricsなどで開発者向けツールやインフラに携わった経験を持つ。変更が速くなるほど、検証が追いつかなければ失敗のリスクが高まるというのが同社の見方だ。

意味と課題

従来の自動テストは決定性と再現性に優れる一方、事前に画面構造を理解し、細かな実装情報をスクリプトへ書き込む必要がある。エージェント方式なら、「ログインを完了する」といった目的から出発し、実行時に経路を探せる可能性がある。明示的なテストケースになっていない操作の組み合わせを発見できれば、探索テストの範囲を広げられる。

ただし、評価は単純ではない。エージェントが一度フローを通過できるだけでは不十分で、重要な経路を網羅したか、セキュリティ上の問題を見逃していないか、報告された失敗を再現できるかが重要になる。Momenticは公開資料でDeepSWE v1.1の比較を引用し、テスト記述を禁じた場合の通過率を66.2%、許可した場合を65.3%と説明している。これはテスト生成が自動的に検証品質を高めるわけではないという同社の主張を支える材料だが、独立した評価も必要だ。

したがって、Momenticの方向性はPlaywrightやSeleniumを直ちに置き換えることではない。探索、テスト保守、バグ発見の中で特に手間のかかる部分をエージェントへ移す試みといえる。再現手順や証拠を安定して提示し、誤検知も抑えられるなら、既存のCIに加わる能動的な探索層になり得る。現時点では公開情報が発表文とデモを中心としているため、本番環境での信頼性と網羅性は今後の検証を待つ必要がある。

Hacker News