Instinct가 드러낸 개인용 AI 에이전트의 신뢰 문제

들어가며

개인용 AI 비서는 질문에 답하는 챗봇에서 여러 서비스에 걸쳐 실제 업무를 수행하는 에이전트로 진화하고 있다. 아직 비공개 접근 단계인 Instinct는 식당 예약, 공항 이동 일정 조정, 항공권 검색, 받은편지함 정리, 이메일 후속 작업 등을 대신할 수 있다는 점에서 초기 테스터들의 호평을 받았다.

하지만 AI가 생활 속 정보에 접근하는 데서 그치지 않고 사용자를 대신해 행동하기 시작하면 편리함에는 새로운 비용이 따른다. Instinct를 둘러싼 초기 논란은 개인용 AI가 어느 정도의 권한과 자율성을 가져야 하는지 보여주는 사례다.

핵심 쟁점

• 접근 범위가 넓다. Instinct는 이메일, 메시지 앱, 캘린더에 연결할 수 있고 기기의 화면, 오디오, 위치 정보 등도 다룬다. 사용자는 문자나 WhatsApp으로 지시를 보내 여러 애플리케이션에 걸친 작업을 요청할 수 있다.
• 약관의 데이터 권한이 포괄적이다. 외부에 공유된 약관 화면에 따르면 이용자 자료에 대해 접근, 사용, 저장, 복제, 전송, 표시, 배포, 수정 등을 허용하는 ‘영구적이고 취소 불가능한’ 라이선스가 포함돼 있다. 해당 자료를 AI 모델 학습에 사용할 수 있다는 내용도 있다. 또한 Instinct가 이용자를 대신해 계약, 약속 또는 거래를 체결할 수 있다는 조항도 논란이 됐다.
• 보관과 삭제 문제가 제기됐다. 한 초기 사용자는 요청했음에도 Gmail 기록이 삭제되지 않았다고 지적했다. 이후 외부 데이터를 삭제하는 설정이 추가됐다고 전했다. 또 다른 테스터는 Google 연결을 끊은 뒤에도 받은편지함 요약이 생성됐으며, 봇이 검색을 위해 이메일을 평문으로 저장한다고 확인했다고 밝혔다.
• 자율 행동은 공격 표면을 넓힌다. Instinct가 이메일에서 가입 코드를 찾아 식당 예약을 완료했다는 사례가 나왔다. 한 사용자는 이메일로 에이전트에게 지시를 주는 방식의 피싱 가능성을 시험한 뒤 계정을 삭제했다. 또 다른 이용자는 사전 확인 없이 자신의 이름으로 이메일이 발송돼 신뢰가 깨졌다고 말했다.

의미와 영향

핵심은 단일 오류가 아니라 권한 모델 자체다. 일반적인 애플리케이션은 특정 기능에 필요한 데이터만 요청하는 경우가 많다. 반면 개인용 AI 에이전트는 맥락을 파악하고 여러 서비스에서 행동하기 위해 지속적인 접근 권한을 요구한다. 그 결과 개인의 대화, 일정, 행동 정보가 하나의 시스템에 모일 수 있다. 악성 이메일이나 잘못된 지시, 불명확한 보관 정책이 초래할 피해도 그만큼 커진다.

모든 행동을 같은 수준의 작업으로 처리해서는 안 된다. 이메일을 읽거나 요약하는 것과 답장을 실제로 보내는 것은 다르며, 인증 코드를 사용하거나 구매와 계약을 진행하는 일은 훨씬 높은 위험을 갖는다. 따라서 최소 권한 원칙, 명확한 보관·삭제 정책, 연결 해제 후 데이터 처리에 대한 설명, 외부 메시지의 지시를 신뢰하지 않는 방어 체계가 필요하다. 발송·결제·거래처럼 되돌리기 어려운 행동에는 사용자의 명시적 승인이 기본값이어야 한다.

Instinct는 아직 비공개 테스트 중이므로 현재 보고된 동작이 최종 공개 버전에서도 유지된다고 단정할 수 없다. 소재에 따르면 회사는 관련 문제에 공개적으로 답변하지 않았고, 논평 요청에도 응답하지 않았다. 그럼에도 이번 사례는 개인용 AI의 경쟁 기준이 단순한 기능 수가 아니라, 사용자가 권한을 이해하고 제한하며 철회할 수 있는지에 달려 있음을 보여준다.

출처: TechCrunch AI