Bounded Agents: 멀티 에이전트 위임 권한을 통제하는 APC

들어가며

대규모 언어 모델 기반 에이전트는 사용자를 대신해 클라우드 서비스에 접근하고, 도구를 호출하며, 다른 에이전트에 작업을 넘길 수 있습니다. 이때 보안 문제는 모델이 프롬프트 인젝션을 탐지할 수 있는지에만 달려 있지 않습니다. 각각은 허용된 행동이라도 여러 행동이 결합되면 데이터 유출, 리소스 파괴, 업무 조작 같은 금지된 결과를 만들 수 있기 때문입니다. Bounded Agents는 이 문제를 모델 행동의 문제가 아니라 권한 부여 구조의 문제로 보고, Agentic Principal Chain(APC)을 제시합니다.

핵심 내용

• 세션 상태를 반영하는 인가. 기존 방식은 세션 시작 시 권한을 정하고 각 요청을 독립적으로 심사하는 경우가 많습니다. APC는 이미 실행된 행동, 현재 권한 범위, 위임에 참여한 주체를 누적 상태로 관리합니다.
• 위임할수록 범위를 축소. 하위 에이전트가 상위 에이전트의 권한을 그대로 물려받지 않도록 합니다. 위임된 범위와 예산을 계속 제한해 여러 단계의 위임 과정에서 권한이 커지는 것을 막습니다.
• 행동 조합의 위험을 검사. 현재 도구 호출만 안전한지 보는 것이 아니라, 과거 행동과 결합했을 때 금지된 결과가 발생하는지도 평가합니다. 이를 위해 APC는 구성 폐쇄(composition closure) 관점을 사용합니다.
• 모델 외부에서 실행을 통제. 모델은 행동을 제안할 수 있지만 최종 허용 여부는 별도의 인가 계층이 결정합니다. 따라서 모델이 악성 지시에 영향을 받아도 해당 행동이 권한 범위를 넘으면 실행 단계에서 차단할 수 있습니다.
• 조건부 형식 보장. 논문은 Blast Radius Monotonicity와 Composition Soundness를 증명합니다. 다만 후자는 금지 조합을 완전하게 포함한 제한 집합과 직렬화된 요청 승인 절차를 전제로 합니다.

평가 결과

연구진은 InjecAgent, AgentDojo, Agent Security Bench 등을 포함해 총 3,154개 인스턴스를 평가했습니다. AgentDojo의 네 영역에서 보고된 데이터 유출률은 75100%에서 0%로, 파괴 행위는 38.6%에서 4.0%로, 조작 행위는 90.5%에서 12.1%로 낮아졌습니다. InjecAgent의 데이터 탈취 사례 544건과 해당 평가에서 다룬 Agent Security Bench의 모든 파괴적 사례도 차단했다고 보고했습니다. 28단계 위임 체인은 99/99건을 검증했으며, 인가 지연 시간은 99백분위수 기준 0.24밀리초였습니다.

의미와 한계

APC는 역할을 분리합니다. 모델은 계획과 행동 후보를 만들고, 외부 통제 계층은 그 행동이 위임된 목적과 권한 안에 있는지 판정합니다. 도구 호출, 클라우드 자동화, 에이전트 간 호출이 많은 환경에서는 권한이 어디에서 시작되어 어떻게 축소됐는지를 기록할 수 있어 감사에도 도움이 됩니다.

그러나 APC가 모든 배포 환경의 위험을 자동으로 해결하는 것은 아닙니다. 위험한 행동 조합이 정책에 빠져 있으면 Composition Soundness의 범위도 그만큼 제한됩니다. 요청 직렬화라는 전제도 실제 시스템 설계에서 고려해야 합니다. 따라서 실무에서는 더 강한 모델만 기대하기보다 위임 범위, 예산, 행동 이력, 금지 조합을 명시적인 보안 정책으로 관리해야 합니다.

출처: Hugging Face Daily Papers