AgentKernel: AI 에이전트를 위한 우회 불가능한 보안 커널

들어가며

AI 에이전트가 외부 웹페이지를 읽고, 서로 다른 신뢰 수준의 정보를 결합하며, 중간 판단을 장기 기억에 저장하고, 권한이 있는 도구를 호출하면 보안 문제는 유해한 문장을 생성하는지 여부를 넘어섭니다. 웹페이지에 간접 프롬프트 인젝션이 들어갈 수 있고, 검증되지 않은 기억이 나중의 판단을 오염시킬 수 있으며, 의미 계층의 오류가 API를 통한 실제 행동으로 이어질 수도 있습니다. AgentKernel은 이런 위험을 애플리케이션 미들웨어만으로 해결하기보다 운영체제와 유사한 보안 기반에서 다뤄야 한다고 주장합니다.

핵심 내용

• 필수적인 강제 경계를 만든다. 기존 거버넌스 구성요소는 감시 대상인 에이전트와 같은 프로세스 신뢰 경계 안에서 동작하는 경우가 있습니다. AgentKernel은 신원, 입력, 기억, 실행 제어를 에이전트 수명주기의 필수 경로에 배치해 우회를 어렵게 만들려 합니다.
• 네 가지 기둥으로 수명주기를 보호한다. Identity는 에이전트와 위임 관계를 관리합니다. Perception은 외부 입력과 신뢰 수준을 중재합니다. Cognition은 중간 신념과 장기 기억의 생성, 저장, 검색, 전파를 다룹니다. Execution은 권한 있는 도구 사용을 제한합니다.
• 운영체제 원칙을 의미 계층으로 확장한다. 신원, 권한, 격리, 정보 흐름 제어 같은 전통적 OS 보안 원칙을 프롬프트 인젝션, 위임 악용, 메모리 오염, 도구 오용이라는 에이전트 특유의 실패 양상에 적용합니다.
• 입력과 기억을 단계적으로 관리한다. 모든 입력을 단일 필터에 맡기지 않고 출처와 위험도에 따라 처리합니다. 기억의 정보 흐름을 제어해 낮은 신뢰도의 정보가 높은 신뢰도의 지식으로 무제한 유입되는 것을 막으면서 검색의 유용성도 유지하려는 접근입니다.
• 의미 판단을 실행 계층에서 제어한다. 에이전트의 고수준 판단을 에이전트 외부에서 강제되는 규칙으로 연결할 수 있다면, 우회 불가능한 실행 경계 안에서 더 넓은 도구 권한을 다룰 가능성이 생깁니다.

의미와 한계

이 제안의 핵심은 에이전트 보안이 위치해야 할 곳을 다시 묻는 데 있습니다. 보안을 개발자가 빠뜨리거나 잘못 설정할 수 있는 부가 기능이 아니라 런타임의 구조적 능력으로 설계하려는 것입니다. 기업용 비서, 다중 에이전트 협업, 조직 간 위임처럼 주체와 권한의 경계가 복잡한 환경에서 특히 중요한 관점입니다.

다만 제공된 자료는 주로 아키텍처적 주장, 체계적 비교, 보안 분석을 설명하며 공개 구현, 벤치마크 수치, 실제 배포 결과를 제시하지 않습니다. 따라서 AgentKernel은 검증이 끝난 운영체제 제품이라기보다 설계 청사진으로 보는 편이 타당합니다. 앞으로는 의미적 위험을 어떻게 안정적인 커널 정책으로 변환할지, 정책 충돌을 누가 조정할지, 강제 통제가 지연 시간과 사용성 및 개발 복잡도에 어떤 비용을 발생시키는지 검증해야 합니다.

출처: Hugging Face Daily Papers