AI 에이전트의 개인정보 보호 약속, 실제로 지켜질까

들어가며

AI 에이전트 경쟁의 기준이 달라지고 있다. 이제 중요한 질문은 단순히 “업무를 수행할 수 있는가”가 아니라 “개인정보를 맡기고 대신 행동하게 해도 되는가”다. 올해 오픈AI 개발자 행사에서 샘 올트먼 CEO는 새로운 AI 에이전트 Dots를 공개하며, 최첨단 AI를 위한 새로운 개인정보 보호 기준을 세우고 싶다고 말했다. 행사에서는 메타의 Muse를 겨냥한 듯한 발언도 이어졌고, 오픈AI가 사용자 데이터를 더 신중하게 다룰 것이라는 메시지가 전달됐다.

이런 구도는 Dots에서 시작된 것이 아니다. 몇 달 전 메타는 Muse를 OpenClaw의 더 안전한 대안으로 소개했다. 마크 저커버그 CEO 역시 Muse가 처음부터 개인정보 보호와 보안을 고려해 설계됐다고 설명했다. 두 회사 모두 비슷한 전략을 택한 셈이다. 경쟁 제품보다 안전하니, 사용자도 더 많은 정보를 맡겨도 된다는 주장이다.

핵심 내용

• 에이전트는 훨씬 민감한 데이터를 다룬다. 일반 챗봇과 달리 에이전트는 메시지, 웹사이트, 파일에 접근하고 쇼핑이나 결제 작업을 수행할 수 있다. 권한이 커질수록 실수나 침해가 발생했을 때 피해도 커진다.
• 격리 환경이 플랫폼의 접근을 막는 것은 아니다. 메타는 Muse의 데이터를 안전한 가상머신에 저장한다고 설명했지만, 초기 설계에서는 메타가 해당 데이터에 접근할 수 있었다. 메타는 이후 암호학적으로 검증 가능한 접근 차단 기능을 도입할 계획이라고 밝혔다.
• Muse의 안전성 약속은 현실적인 문제에 부딪혔다. 한 보안 연구자는 에이전트를 장악할 수 있는 제로데이 취약점을 공개했고, 출시 직전에도 심각한 문제들이 제기됐다. Muse는 사용자 입력을 메타의 모델 학습에 활용하는 설정이 기본적으로 켜져 있었으며, 사용자가 직접 선택해 거부할 수 있었다. 일부 이용자는 에이전트가 사적인 메시지를 읽거나 다른 사람에게 개인정보를 제공했다고 지적했다. 해당 동작이 제품 설계상 허용된 것이더라도, 사용자의 기대와 실제 권한 사이에 큰 차이가 있음을 보여준다.
• Dots는 사용자 통제권을 강조한다. 오픈AI는 일정 금액을 넘는 구매를 금지하는 식으로 에이전트에 규칙을 설정하는 기능을 시연했다. 기업 고객에게는 더 강한 데이터 통제와 데이터 미보존 정책 선택지도 제시했다. 다만 Dots는 고가의 ChatGPT 구독 계층에서만 제공되고 있어, 대규모 사용 환경에서의 성능과 위험은 아직 분명하지 않다.

의미와 영향

개인정보 보호는 AI 에이전트의 홍보 문구를 넘어 기업 도입을 결정하는 중요한 기준이 되고 있다. 그러나 “격리돼 있다”, “학습에 사용되지 않는다”, “사용자가 제어할 수 있다”는 표현만으로 안전성이 보장되지는 않는다. 기본값이 최소 권한으로 설정됐는지, 에이전트가 무엇을 하는지 사용자가 이해할 수 있는지, 데이터 보존 기간과 사업자의 접근 여부를 확인할 수 있는지, 문제가 발생했을 때 피해를 신속히 제한할 수 있는지가 더 중요하다.

사용자는 출시 행사에서 나온 약속보다 권한 설정, 학습 활용 여부, 보존 기간, 결제 한도를 직접 확인해야 한다. 기업 역시 에이전트가 현실 세계에서 행동할수록 보안을 마케팅이 아닌 제품 구조의 중심에 둬야 한다. Muse 사례는 기능을 빠르게 확장하는 것보다 신뢰를 지키는 일이 더 어렵다는 점을 보여준다. Dots가 실제로 새로운 기준을 만들 수 있을지는 더 많은 사용자와 복잡한 권한, 외부 공격을 마주한 뒤의 운영 결과로 판단해야 한다.

출처: The Verge AI