Momentic, AI 에이전트로 앱을 사용하며 버그 탐색

들어가며

코드가 더 빠르게 생성된다고 해서 소프트웨어가 자동으로 더 안정적이 되는 것은 아니다. YC W24 스타트업 Momentic은 대규모 언어 모델을 코드 생성뿐 아니라 소프트웨어 테스트 실행에도 활용하려 한다. 이 회사의 QA 에이전트는 Web, iOS, Android 애플리케이션을 직접 조작하고, 행동 순서를 계획하며, 화면과 사용자 흐름을 탐색한 뒤 잠재적인 결함을 보고하는 방식이다.

핵심 내용

• 제품을 실제로 사용하며 테스트: 단순히 어설션이나 테스트 스크립트를 만드는 대신 앱에 들어가 컨트롤을 조작하고 흐름을 진행한다. 관찰한 결과에 따라 다음 행동을 선택하는 것이 핵심이다.
• 취약한 셀렉터 의존성 완화: Playwright, Selenium, Maestro 같은 도구는 XPath, 텍스트, aria 속성 등 구현 세부사항을 테스트에 하드코딩하는 경우가 많다. 화면 구조가 바뀌면 스크립트를 다시 수정해야 하므로, Momentic은 작업 목표와 화면의 의미를 더 많이 활용하는 접근을 제시한다.
• 사용자 여정 탐색: 회사는 다양한 컨트롤과 사용자 흐름을 점검할 수 있다고 설명한다. 제공된 사례에서는 소비자 금융 앱의 로그인 라우팅 변경으로 새 기기 인증 안내가 건너뛰어졌고, 그 결과 보안 확인 절차가 조용히 우회됐다.
• 코딩 에이전트 시대의 검증 공백: 창업자들은 Robinhood, Retool, WeWork, Qualtrics 등에서 개발자 도구와 인프라를 다뤘다. 이들은 코드 변경 속도가 빨라질수록 테스트가 따라가지 못할 때 실패한 변경의 위험도 커질 수 있다고 본다.

의미와 한계

기존 자동화 테스트는 결정적이고 반복 가능하다는 장점이 있다. 그러나 엔지니어가 애플리케이션 구조를 미리 파악하고 구체적인 구현 정보를 스크립트에 입력해야 하는 경우가 많다. 에이전트 방식은 “로그인을 완료하라”와 같은 목표에서 출발해 실행 중 경로를 찾을 수 있다는 점에서 다르다. 명시적인 테스트 케이스로 작성되지 않은 행동 조합까지 탐색한다면 테스트 범위를 넓힐 가능성이 있다.

반면 평가 기준은 더 복잡해진다. 에이전트가 흐름을 한 번 통과하는 것만으로는 충분하지 않다. 중요한 경로를 실제로 다뤘는지, 보안 문제를 놓치지 않았는지, 발견한 오류를 다시 재현할 수 있는지, 보고의 근거가 명확한지가 중요하다. Momentic은 공개 자료에서 DeepSWE v1.1 비교를 인용하며 테스트 작성을 금지했을 때 통과율이 66.2%, 허용했을 때 65.3%였다고 설명한다. 이는 테스트 코드 생성이 검증 품질 향상을 자동으로 보장하지 않는다는 회사의 논거지만, 독립적인 검증이 추가로 필요하다.

따라서 Momentic의 목표는 Playwright나 Selenium을 즉시 대체하는 것이라기보다, 탐색 테스트와 테스트 유지보수, 결함 발견 중 반복적이고 많은 시간이 드는 작업을 에이전트에 맡기는 데 가깝다. 재현 가능한 절차와 충분한 증거를 제공하고 오탐을 낮출 수 있다면 기존 CI 파이프라인을 보완하는 능동적 탐색 계층이 될 수 있다. 다만 현재 공개된 정보는 회사의 출시 글과 데모 중심이므로 실제 운영 환경에서의 신뢰성과 커버리지는 더 검증돼야 한다.

Hacker News