AI 에이전트에게 자기 통제를 맡기지 말라: OBPE의 툴 경계 보안

들어가며

AI 에이전트에 사람의 자격 증명을 부여하면 그 사람이 기술적으로 접근할 수 있는 범위는 물려받는다. 하지만 업무 목적에 맞게 그 권한을 제한하는 사람의 판단까지 얻는 것은 아니다. 따라서 인증상 유효한 요청도 과도할 수 있다. 에이전트가 접근 가능한 모든 레코드를 가져오거나, 숨은 지시와 비밀을 컨텍스트에 넣거나, 맡은 업무를 넘어선 효과를 실행할 수 있기 때문이다.

논문 If Agents Were Angels, No Governance Would Be Necessary는 이 문제를 해결하기 위해 대역외 정책 집행(Out-of-Band Policy Enforcement, OBPE)을 제시한다. 핵심은 프롬프트로 모델 스스로 한계를 지키게 하는 대신, 에이전트와 백엔드 사이에 신뢰할 수 있는 정책 경계를 배치하는 것이다.

OBPE가 하는 일

OBPE는 툴 호출 전후에 정책을 적용한다.

• 작업과 리소스 승인: 작업 유형, 대상 리소스, 호출 주체를 확인한 뒤 백엔드 요청을 허용한다.
• 쿼리 축소: 요청이 백엔드에 도달하기 전에 조건과 범위를 제한해 불필요한 데이터 수집을 막는다.
• 응답 필터링: 레코드와 필드를 제거하거나 민감한 값을 마스킹해 에이전트에 전달되는 결과를 조정한다.
• 의미 기반 게이트: 작업 자체가 승인됐더라도 인자 값이나 외부 상태에 따라 거부하거나 보류할 수 있다.

데이터 정책 소유자는 최대 허용 범위를 정하고, 에이전트 정책은 이를 좁힐 수만 있다. 논문은 제시된 조건 아래에서 정책 적용 순서가 결과를 바꾸지 않으며, 에이전트 정책이 허용 한도를 넓힐 수 없다는 점을 보인다.

실험 결과와 한계

연구진은 실제 운영 시스템을 단순화한 HTTP 프록시 프로토타입을 공개했다. 유형화된 Cedar 정책 코어와 모델의 동작을 연결하는 적합성 테스트도 제공했다. Jira와 ServiceNow 모의 환경에서 4개 모델을 대상으로 OBPE 적용 여부를 비교했고, 20개의 적응형 레드팀 과제를 포함해 총 3,621회 실험했다. 보호 데이터가 컨텍스트에 들어가거나, 정확한 보호 값이 답변에 나타나거나, 금지된 효과가 완료되면 추적 실패로 분류했다.

OBPE를 적용하자 실패율은 57.6%에서 0.2%로 감소했다. 클러스터 가중 감소폭은 41.2%포인트였고, 95% 신뢰구간은 27.7~54.9%포인트였다. 반면 작업 이행률은 79.1%에서 60.9%로 낮아졌다. 그러나 안전하면서 유용한 완료율을 함께 본 지표는 21.8%포인트 상승했다. 즉, 보호 장치의 성과는 단순한 성공률이 아니라 안전성과 유용성의 결합으로 평가해야 한다.

논문은 결과를 완전한 보안 보장으로 해석하지 않는다. 컨텍스트에 들어오지 않은 값을 답변에서 재구성한 사례가 있었고, 필터링된 행 수가 정보의 단서가 될 수도 있었다. 따라서 한 번의 실행을 제한하는 것만으로는 엄격한 정보 비간섭성을 입증할 수 없다. 쓰기 제어, 지속적인 승인, 시간 및 집계 정책도 이번 평가 범위 밖이다.

의미와 영향

OBPE의 가장 큰 시사점은 프롬프트만으로 보안 경계를 구현하지 말아야 한다는 것이다. 모델은 작업에 필요한 행동을 제안할 수 있지만, 무엇을 읽고 어떤 데이터를 받을 수 있으며 외부 효과를 실행할 수 있는지는 외부 정책 계층이 결정해야 한다.

OBPE가 곧 완성된 거버넌스 체계인 것은 아니다. 사이드 채널, 여러 단계에 걸친 상호작용, 상태 변화, 승인된 쓰기 작업까지 다뤄야 실제 환경에 가까워진다. 그럼에도 기업용 에이전트 설계에서 툴 경계에 최대 권한을 명시하고, 보안 강화로 줄어드는 유용성도 측정 가능한 비용으로 관리하자는 실용적인 방향을 제시한다.

출처: arXiv