앤트로픽, 클로드 겨냥한 대규모 모델 증류 캠페인 공개

들어가며

최첨단 AI 경쟁은 벤치마크와 제품 기능을 넘어 모델이 보유한 능력을 어떻게 보호할 것인지로 확장되고 있다. 앤트로픽은 새 보고서에서 중국에 기반을 둔 여러 AI 기업과 연관된 것으로 보이는 모델 증류 활동을 공개했다. 지난 몇 달 동안 활동 규모가 커졌고, 방어 체계를 우회하는 방식도 정교해졌다는 주장이다.

앤트로픽이 확인한 캠페인은 다섯 건이며, 관련 상호작용은 합계 약 2억 건에 달했다. 표적이 된 능력은 에이전트 작업과 도구 사용, 코딩, 데이터 분석, 논리적 추론 등 클로드의 핵심 기능이었다.

핵심 내용

• 최종 답변만 수집한 것은 아니다. 증류는 강력한 ‘교사 모델’에 대량의 질의를 보내고, 그 출력을 이용해 더 작은 모델을 미세조정하는 방식이다. 이번 활동에서는 답변 자체뿐 아니라 추론 과정과 작업 흔적을 확보하려는 시도가 집중됐다고 앤트로픽은 설명했다.
• 사고 과정 보호를 우회하려는 프롬프트가 사용됐다. 클로드는 일반적으로 내부 사고 연쇄가 아니라 요약된 사고 내용을 보여준다. 그러나 보고서에 따르면 공격자들은 작업 메모리를 번역해 달라는 요청처럼 보이게 만드는 등 특수한 지시를 사용해 더 자세한 추론 흔적을 끌어내려 했다.
• 알리바바 관련 활동이 가장 큰 규모였다. 앤트로픽은 2026년 5월부터 7월까지 약 3500개 계정에서 약 1억5100만 건의 상호작용을 관찰했으며, 하루 최대치는 약 300만 건이었다고 밝혔다. 여러 계정이 동일한 고정 프롬프트를 사용했기 때문에 하나의 조직적 활동으로 판단했고, Qwen 계열 모델을 위한 학습 자료 수집과 연결했다.
• 문샷AI 관련 활동에는 민감한 용도도 포함됐다. 보고서에 따르면 10일 동안 약 5000개 계정의 네트워크를 통해 약 30만 건의 요청이 전달됐고, 주로 클로드 오퍼스가 대상이었다. 폐쇄회로 영상을 분석해 대상자의 이상 행동 여부를 판단해 달라는 요청도 있었다. 중국군에서 직접 요청이 들어온 것으로 보였다는 평가는 앤트로픽의 귀속 판단이다.

의미와 영향

이번 보고서는 모델 증류가 일회성 실험을 넘어 상당한 규모로 운영될 수 있는 활동으로 발전했음을 시사한다. 다수의 계정, 자동화된 질의, 반복되는 프롬프트가 결합되면 서비스 제공자는 단일 사용자의 행동만으로 악용 목적을 식별하기 어렵다. 따라서 계정 간 연결, 트래픽 패턴, 프롬프트 유사성, 질의 대상 능력을 함께 분석해야 한다.

추론 흔적은 단순한 정답보다 모델의 문제 해결 방식을 학습하는 데 유용한 신호가 될 수 있다. 다만 앤트로픽의 설명은 관찰과 귀속에 관한 주장이지, 이름이 언급된 모델이 클로드의 능력을 완전히 복제했다는 증거는 아니다. 수집된 자료가 최종적으로 어떻게 사용됐는지도 보고서만으로는 확인되지 않는다.

투명성과 능력 유출 사이의 균형도 중요한 과제다. 설명이 많아지면 사용자의 이해는 높아지지만, 상세한 중간 과정은 경쟁 모델을 훈련하는 자료가 될 수 있다. 앞으로는 접근 권한 관리, 출력 제한, 이상 트래픽 탐지, 기업 간 악용 정보 공유가 프런티어 모델 보안의 핵심 수단으로 자리 잡을 가능성이 크다. 앤트로픽은 과거에도 유사한 문제를 언급했고, 오픈AI 역시 관련 활동을 딥시크와 연결한 바 있어 특정 기업만의 문제로 보기는 어렵다.

출처: TechCrunch AI