DeepSeek Harness의 간접 프롬프트 인젝션 저항성 검증

들어가며

대규모 언어 모델 에이전트가 파일을 읽고, 도구 결과를 처리하며, 사용자를 대신해 작업을 수행하면 프롬프트 인젝션의 공격면도 넓어진다. 공격자는 사용자의 요청에 직접 악성 지시를 넣을 필요가 없다. 문서나 도구 응답, 추가 컨텍스트에 지시를 숨겨 두고 에이전트가 이를 나중에 신뢰할 수 있는 명령으로 해석하게 만들 수 있다. AI-Infra-Guard 연구팀은 DeepSeek Harness(DSH)를 대상으로 이러한 간접 공격을 평가했다.

평가 구성

연구진은 AI-Infra-Guard로 테스트를 만들고, 통제된 오염 정보를 전달한 뒤 DSH를 실행했다. 이후 실행 트레이스를 수집하고 결과를 판정했다. 전체 실험은 14,560회의 통제된 실행으로 구성됐으며, 16개 간접 콘텐츠 채널, 텍스트와 파일 두 가지 전달 방식, 35개 페이로드 목표, 12개 공격 기법, 수정하지 않은 기준 조건을 포함했다.

실험은 DSH의 에이전트 루프, 도구 레지스트리, 모델 어댑터, 세션 이벤트 경로를 유지했다. 다만 정보원 도구와 민감한 작업의 싱크는 로컬 테스트용 픽스처로 대체했다. 따라서 민감한 동작이 시도돼도 외부 시스템에 실제 효과가 발생하지 않고, 시도 내용만 기록된다. 결과는 운영 환경의 실제 피해율이 아니라 통제된 조건에서 관찰된 행동 경향으로 해석해야 한다.

판정에는 결정론적 규칙 기반 RuleJudge와 의미를 해석하는 LLMJudge를 함께 사용했다. 두 판정 결과는 동일하지 않았다. 텍스트 모드에서는 가짜 완료 메시지 공격이 LLMJudge 기준 17.0%로 가장 높은 공격 성공률을 보였다. 파일 모드에서는 숨겨진 유니코드 공격이 RuleJudge 기준 25.5%, skills 채널은 16.0%를 기록했다. 부분적 순응의 판정 비율도 LLMJudge가 7.3%로 RuleJudge의 2.0%보다 높았다. 이는 보안 결과가 공격 방식뿐 아니라 측정 기준에도 영향을 받는다는 점을 보여준다.

핵심 포인트

• 파일 기반 콘텐츠라고 해서 자동으로 안전한 것은 아니다. 표현 방식의 변화가 에이전트의 해석에 영향을 줄 수 있다.
• 도구 결과, 추가 컨텍스트, skills 채널은 신뢰할 수 없는 지시가 의사결정 과정으로 들어오는 경로가 될 수 있다.
• 규칙 기반 판정은 재현성이 높지만 의미상의 부분적 실행을 놓칠 수 있다.
• 외부 부작용이 차단된 환경이므로, 연구는 공격 행동을 측정하며 실제 운영 피해를 측정하지 않는다.

의미와 영향

이번 연구의 가장 중요한 시사점은 에이전트 보안을 시스템 프롬프트나 모델의 거부 능력에만 맡길 수 없다는 것이다. 신뢰할 수 없는 콘텐츠가 도구 선택, 작업 상태, 민감한 데이터 접근에 영향을 줄 수 있다면 콘텐츠와 작업 사이에 별도의 통제 계층이 필요하다. 콘텐츠 출처와 신뢰 수준을 보존하고, 도구 권한을 최소화하며, 고위험 호출 전에 독립적인 검증을 수행하고, 실행 트레이스를 감사하는 방식이 그 예다.

평가 방식에도 교훈이 있다. 실제 에이전트 경로는 유지하되 외부 부작용을 격리하고, 규칙 판정과 의미 판정을 함께 사용해야 최종 공격 목표 달성 여부만으로는 드러나지 않는 부분적 순응을 포착할 수 있다. 공개된 코드는 향후 더 많은 도구, 전달 방식, 지속성 컨텍스트를 대상으로 보안 평가를 확장하는 기반으로 활용될 수 있다.

출처: Hugging Face Daily Papers