AI 프롬프트는 모델에 도달하기 전에 라우터, 재판매 업체, 클라우드 호스팅 사업자를 거칠 수 있다. 각 단계에서 요청 내용을 평문으로 읽을 수 있으며, 데이터 보관 정책도 사업자마다 다르다. 보안 연구자 HD 무어는 추적 가능한 ‘카나리아’를 넣은 약 200만 건의 요청으로 이 경로를 조사했다. 결과는 문제가 불분명한 개인정보 처리방침에만 있는 것이 아니라, 일부 요청이 처음 전달된 서비스의 경계를 벗어났을 가능성을 보여준다.
가짜 비밀 정보로 유출 경로 추적
무어는 한 번도 사용하지 않은 AWS 액세스 키와 SSH 비밀번호, 고유 URL과 DNS 이름, 비공개 저장소 참조를 준비했다. 자격 증명은 그가 관리하는 빈 계정이나 인프라에 연결돼 있었다. 각 비밀 정보는 한 사업자에 보내는 단 하나의 요청에만 넣었다. 이후 누군가 자격 증명을 사용하거나 링크에 접속하면, 그 비밀이 어떤 경로를 거쳤는지 알아낼 수 있었다.
실험에서는 최소 3곳의 AI 호스팅 사업자가 공격자에게 침해당했다는 증거가 나왔다. 공격자는 요청에서 일부 AWS 키를 복사해 스토리지 버킷과 비밀 관리 서비스 등 클라우드 자원을 살펴보고, 지속적인 접근을 시도했다. 심어 둔 자격 증명은 모두 합쳐 수만 차례의 AWS API 호출에 사용됐다. 모델이 실행되기도 전에 복사된 요청도 있어, 추론 과정의 안쪽이 아니라 사업자의 접수 단계에서 탈취됐을 가능성을 시사한다. 침해된 요청 중 일부에는 ‘제로 데이터 보존(ZDR)’ 표시도 있었다. 사업자의 시스템이 이미 장악됐다면 이런 설정만으로는 데이터를 지킬 수 없다.
공급망의 상업적 중간 단계에서도 위험이 확인됐다. 같은 모델에 여러 재판매 업체를 통해 요청을 보내 비교한 결과, 프롬프트를 기록하는 중개 업체를 찾아냈다. 낮은 가격으로 이용자를 끌어들이더라도 요청을 로그로 남기면 모델 제공업체 이외의 주체가 데이터에 접근할 수 있다. 일부 사업자는 요청에 포함된 고유 URL도 가져갔다. 무어에 따르면 중국의 한 AI 연구소는 몇 달 동안 테스트 링크의 절반 이상에 접속했으며, 그중에는 ‘데이터 수집 없음’ 또는 ZDR로 표시된 요청도 상당수 포함됐다. 미국 호스팅 업체가 해당 모델을 재판매한 경우에도 같은 URL 수집 행위가 나타났다. 현지 서비스 창구를 선택하는 것만으로 데이터가 상류로 전달되는 일을 막을 수는 없다는 뜻이다.
개인정보 설정만으로는 충분하지 않다
이번 실험이 모든 AI 서비스가 정보를 유출한다거나 일반 사용자의 모든 프롬프트가 도난당했다는 뜻은 아니다. 통제된 테스트 요청에서 구체적인 위험을 확인한 조사다. 기업은 누가 프롬프트를 읽을 수 있는지, 로그가 얼마나 오래 보관되는지, 재판매 업체를 거치는지, 침해가 발생했을 때 누가 대응하는지를 전체 경로에 걸쳐 파악해야 한다. ZDR 같은 설정은 서비스 제공자의 약속을 나타내지만, 실제 시스템과 공급망의 보안을 점검하는 일을 대신할 수 없다.
무어는 제3자의 접근을 줄이는 가장 효과적인 방법으로 모델 자체 호스팅을 꼽았지만, 비용이 높을 수 있다. 자체 운영이 어렵다면 일선 제공업체와 직접 계약하고 중개 단계를 줄이며, 기본 제공되는 사업자 풀에 맡기기보다 상류 제공업체를 직접 선택하라고 권한다. 어떤 구성을 택하든 실제 자격 증명을 프롬프트에 넣어서는 안 된다. AI 서비스가 여러 층의 중계를 거칠수록 개인정보 보호 검토도 눈에 보이는 모델만이 아니라 추론 경로 전체를 대상으로 해야 한다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…