AI 침투 테스트 Agent, CTF를 넘어 실제 환경에서 평가하기

들어가며

AI 침투 테스트 Agent는 공격적 보안 도구로서 점점 더 그럴듯한 모습을 보이고 있다. 그러나 성능을 어떻게 평가해야 하는지는 여전히 까다로운 문제다. CTF 문제를 풀거나, 알려진 취약점을 재현하거나, 원격 코드 실행이라는 미리 정해진 목표에 도달했다고 해서 실제 복잡한 시스템에서 유용한 취약점을 안정적으로 찾을 수 있다는 뜻은 아니다.

논문 “From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World”는 바로 이 지점을 다룬다. 저자들은 제한된 과제 완료 여부가 아니라, 검증 가능한 취약점 발견을 중심으로 AI 침투 테스트 Agent를 평가해야 한다고 제안한다.

핵심 내용

• 과제 완료에서 취약점 발견으로 전환: Agent가 정해진 플래그를 획득했는지가 아니라, 실제 취약점에 해당하는 발견을 했는지를 평가한다.
• 전문가 주석 기반 ground truth: 대상에 존재하는 취약점을 전문가가 구조화해 기록하고, Agent의 보고가 이에 대응하는지 확인한다.
• LLM 기반 의미 매칭: 같은 취약점도 서로 다른 표현으로 보고될 수 있다. 단순 문자열 비교 대신 LLM을 활용해 보고서와 ground truth 사이의 의미적 대응을 판단한다.
• 모호성을 고려한 채점: 여러 보고가 하나의 취약점을 가리키거나, 하나의 보고가 여러 후보와 겹칠 수 있다. 논문은 이분 그래프 기반 해석 등을 통해 현실적인 모호성을 반영하려 한다.
• 확률적 Agent의 반복 평가: AI Agent는 실행할 때마다 다른 탐색 경로를 택할 수 있으므로, 단일 실행 결과보다 반복 실행과 누적 평가가 중요하다.
• 효율 지표와 축소 평가 세트: 실제 활용에서는 취약점을 찾는 데 드는 비용도 중요하다. 논문은 지속 가능한 실험을 위해 효율 측정과 축소된 평가 스위트 선택도 다룬다.

의미와 영향

이 연구의 핵심은 특정 Agent가 인간 전문가를 대체할 수 있다고 주장하는 데 있지 않다. 오히려 AI 보안 Agent의 능력을 더 현실적인 방식으로 측정하려는 평가 설계에 의미가 있다. 제한된 데모나 CTF 점수만으로는 실제 운영 환경에서의 유용성을 충분히 설명하기 어렵다.

현실의 침투 테스트에는 불완전한 정보, 중복 보고, 애매한 취약점 경계, 잘못된 귀속, 탐색 비용 같은 요소가 함께 존재한다. 이런 요소를 평가에 포함하면 연구자와 개발자는 단순한 점수 최적화가 아니라 실제로 도움이 되는 능력을 개선하는 데 집중할 수 있다.

물론 한계도 있다. LLM 기반 매칭은 오판을 만들 수 있고, ground truth는 지속적으로 관리되어야 한다. 그럼에도 AI Agent 평가를 통제된 장난감 과제에서 더 복잡한 실제 조건으로 옮기려는 방향은 사이버 보안 AI 연구에서 중요한 진전으로 볼 수 있다.

Source: Hugging Face Daily Papers