SkillJack: 자기 진화형 에이전트가 배워 버리는 지속형 스킬 백도어

도입

자기 진화형 에이전트는 과거의 상호작용을 단순히 기록으로 남기는 데 그치지 않는다. 반복적으로 쓸 수 있는 절차와 능력을 추출해 ‘스킬’로 저장하고, 이후 비슷한 작업에서 다시 호출한다. 논문 SkillJack: Persistent Skill Backdoors in Self-Evolving Agents 는 바로 이 경험에서 스킬로 이어지는 학습 과정이 새로운 공격 표면이 될 수 있다고 지적한다.

기존의 메모리 포이즈닝이나 검색 오염 공격은 대체로 악성 기록이 실행 시점의 컨텍스트로 검색되어야 효과를 낸다. 반면 SkillJack은 런타임 컨텍스트를 직접 조작하는 데 머물지 않는다. 에이전트가 스스로 경험을 정리하고 스킬로 변환하는 과정을 악용해, 일시적인 악성 경험을 오래 남는 재사용 가능 능력으로 바꾼다.

핵심 내용

• 공격 대상이 컨텍스트에서 학습 파이프라인으로 이동한다: SkillJack은 에이전트가 무엇을 경험으로부터 배우고 어떤 형태로 스킬화하는지를 노린다.
• 스킬 추출 과정이 악성 의도를 가릴 수 있다: 논문은 이를 “sanitization whitewashing”이라고 설명한다. 악성 의도가 추상화되거나 정상적인 절차처럼 재표현되면서, 최종 스킬만 보면 위험 신호가 약해질 수 있다.
• 일회성 경험이 장기 능력으로 승격된다: “cross-layer promotion”은 특정 궤적에 있던 문제 행동이 스킬 계층으로 올라가 지속적으로 호출 가능한 능력이 되는 현상을 뜻한다.
• 원본 기록 삭제만으로는 충분하지 않다: 백도어가 스킬 저장소에 들어간 뒤에는 원래의 오염 경험을 제거해도 위험이 남을 수 있다. 논문은 이를 “persistence isolation”이라고 부른다.
• 탐지는 더 어려워지지만 공격 효과는 유지된다: 연구진은 SkillX와 Anything2Skill 두 시스템에서 4가지 정책 위험 범주를 포함한 150개 궤적으로 평가했다. SkillX에서는 오염 궤적에 대한 안전 탐지율이 98.5%였지만, 추출된 스킬에 대해서는 11.4%로 낮아졌다. 동시에 이식된 스킬은 두 시스템에서 각각 56.2%와 89.2%의 공격 성공률을 보였다.

의미와 영향

이 연구의 핵심 메시지는 명확하다. 에이전트 보안을 런타임 프롬프트, 검색된 메모리, 현재 컨텍스트만의 문제로 볼 수 없다는 것이다. 에이전트가 경험을 장기 스킬로 바꾸는 구조라면, 경험의 출처부터 스킬 추출, 검토, 버전 관리, 호출 기록, 폐기와 롤백까지 전 생애주기를 관리해야 한다.

특히 기업용 장기 실행 에이전트, 코딩 에이전트, 자동화 워크플로 에이전트, 개인 비서형 에이전트는 시간이 지날수록 절차와 습관을 축적한다. 이 과정에서 악성 행동이 한 번 스킬로 굳어지면, 단순한 로그 삭제나 메모리 정리만으로는 제거되지 않을 수 있다.

SkillJack은 더 잘 배우는 에이전트일수록 더 정교한 보안 체계가 필요하다는 점을 보여준다. 앞으로는 콘텐츠 필터링뿐 아니라 스킬 출처 추적, 스킬 단위 감사, 격리, 폐기, 지속적인 검증을 포함한 에이전트 스킬 거버넌스가 중요해질 것이다.

출처: Hugging Face Daily Papers