AI 침투 테스트, 이제는 인프라 침해보다 ‘행동 실패’를 봐야 한다

도입

전통적인 침투 테스트는 공격자가 소프트웨어 취약점, 인프라 결함, 설정 오류, 운영 통제의 약점을 악용해 보안상 의미 있는 침해를 달성할 수 있는지를 평가해 왔다. 그러나 AI 기반 시스템에서는 이 기준만으로 충분하지 않다는 주장이 제기됐다. arXiv 논문 Rethinking Penetration Testing for AI-Enabled Systems 는 AI 시스템의 보안 평가를 ‘자원 침해’ 중심에서 ‘운영 목표를 위반하는 행동 유도’ 중심으로 재구성해야 한다고 제안한다.

AI가 실제 업무 결과에 영향을 미치는 환경에서는 서버가 뚫리지 않아도 문제가 발생할 수 있다. 공격자는 프롬프트, 검색된 콘텐츠, 센서 입력, 학습 데이터, 메모리, 도구, 인간-AI 상호작용 루프를 통해 시스템의 판단과 행동을 바꿀 수 있다.

핵심 내용

• 공격 표면이 달라졌다. 논문은 AI 기반 시스템의 공격 경로로 프롬프트 인젝션, 간접 프롬프트 인젝션, 데이터 포이즈닝, 센서 조작, 검색 오염, 도구 오용, 에이전트형 미스얼라인먼트를 제시한다. 이는 전통적 인프라 침해 없이도 시스템 행동에 영향을 줄 수 있는 경로다.
• 침투 성공은 목표 위반으로 판단된다. 저자들은 AI 기반 시스템을 학습 모델이 운영 결과에 영향을 미치는 행동을 실질적으로 좌우하는 시스템으로 정의한다. 이에 따라 AI 기반 침투란 명시적 위협 모델 아래에서 AI가 지배하는 행동을 유도해 하나 이상의 운영 목표를 위반하게 만드는 것이다.
• 기존 테스트는 여전히 필요하다. 취약점 악용, 권한 상승, 설정 점검, 접근 제어 검증은 계속 중요하다. 다만 AI 특유의 행동 리스크를 평가하려면 여기에 행동 중심 평가가 추가되어야 한다.
• 증거 기반 절차가 요구된다. 논문이 제안한 워크플로는 운영 목표 식별, AI가 관여하는 행동 매핑, 적대적 영향 표면 분석, 행동 실패 기준 정의, 시나리오 기반 테스트 수행, 공격 행위와 목표 위반을 연결하는 증거 보고로 구성된다.

의미와 영향

이 프레임은 AI 보안 운영 보조 도구, RAG 시스템, 업무 자동화 에이전트, 의사결정 지원 시스템이 실제 환경에 배치될수록 중요해진다. 공격자는 계정을 탈취하거나 서버를 장악하지 않고도 오염된 문서를 검색 결과에 넣거나, 간접 지시를 삽입하거나, 입력 흐름을 조작하거나, 부적절한 도구 호출을 유도해 시스템을 의도와 다른 방향으로 움직일 수 있다.

기업 보안팀에는 평가 기준의 변화가 필요하다. 좋은 AI 침투 테스트 보고서는 단순히 취약점 목록을 나열하는 데 그치지 않고, 공격자가 무엇을 했는지, AI의 행동이 어떻게 바뀌었는지, 그 변화가 왜 운영 목표 위반인지 설명해야 한다. AI 안전성 평가는 모델 출력 검사에서 실제 운영 맥락 속 행동 검증으로 확장되고 있다.

출처: arXiv