PIMiner, 에이전트로 프롬프트 인젝션을 자동 점검하다

도입

LLM 에이전트가 도구를 호출하고, 외부 문서와 웹페이지를 읽고, 사용자를 대신해 작업을 수행하면서 프롬프트 인젝션은 에이전트 보안의 핵심 이슈가 됐다. 펜실베이니아주립대 연구진의 논문 “Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming”은 이러한 위험을 자동으로 점검하기 위한 시스템 PIMiner를 소개한다.

핵심 내용

• 위협의 성격: 프롬프트 인젝션은 외부 콘텐츠 안에 숨겨진 지시가 에이전트의 원래 목표를 흔들 수 있다는 점에서 위험하다. 에이전트가 도구와 권한을 가질수록 영향도 커질 수 있다.
• 기존 방식의 한계: 논문은 기존의 강력한 프롬프트 인젝션 레드팀 방식 상당수가 강화학습에 의존한다고 설명한다. 그러나 이렇게 훈련된 공격 모델은 새로운 대상 LLM으로 옮겨갔을 때 일반화가 약할 수 있다.
• PIMiner의 접근: PIMiner는 훈련 과정에서 여러 “데이터셋—대상 모델” 쌍을 순차적으로 경험하며, 처음부터 전략 라이브러리를 구축한다.
• 테스트 단계의 전이성: 학습된 전략 라이브러리는 이전에 보지 못한 대상 LLM에도 추가 학습 없이 직접 적용할 수 있다.
• 낮은 쿼리 비용: 각 테스트 샘플마다 대상 에이전트에 필요한 질의 수가 적다는 점도 강조된다. 논문은 예시로 약 10회를 제시한다.
• 실험 결과: IPIArena에서 PIMiner는 Gemini-2.5-Pro 대상 76.2%, GPT-5.1 대상 61.9%, Claude-Sonnet-4.5 대상 42.9%의 ASR을 보였다. AgentDojo에서는 각각 86.7%, 53.3%, 40.0%가 보고됐다.

의미와 영향

PIMiner의 의미는 단순히 특정 벤치마크에서 높은 성공률을 냈다는 데 그치지 않는다. 이 연구는 프롬프트 인젝션 레드팀을 하나의 공격 모델을 훈련하는 문제에서, 재사용 가능한 전략을 축적하고 새로운 모델에 전이하는 문제로 재구성한다.

실무 관점에서 이는 중요하다. 기업이 에이전트에 새로운 모델을 연결하거나, 도구 호출 기능을 추가하거나, 업무 흐름을 확장할 때마다 보안 표면은 달라진다. PIMiner 같은 시스템은 배포 전 취약점 점검, 실패 사례 수집, 방어 학습 데이터 확보에 활용될 가능성이 있다.

동시에 실험 결과는 프롬프트 인젝션 방어가 여전히 어렵다는 점도 보여준다. 모델별로 공격 성공률이 다르게 나타난다는 사실은 단일 모델이나 단일 벤치마크만으로 에이전트 보안을 판단하기 어렵다는 뜻이기도 하다. 제공된 자료만으로는 실제 운영 환경에서의 오탐, 적용 범위, 방어 체계와의 결합 방식까지 평가하기는 어렵지만, 자동화된 에이전트 보안 평가의 방향성을 보여주는 연구로 볼 수 있다.

출처: Hugging Face Daily Papers