도입
증류는 한 모델이 다른 모델이 만든 데이터로 학습하는 일반적인 기법이다. 하지만 능력만 전이되고 원래 모델의 안전장치가 따라오지 않는다면 악용 위험이 커질 수 있다. OpenAI는 이런 ‘적대적 증류’에 대응하는 방안을 공개하면서, 보호된 추론 과정을 추출해 다른 모델의 학습 데이터로 재사용하는 행위에 특히 주목했다.
핵심 내용
- 정확한 추론 흔적은 최종 답변보다 더 많은 정보를 전달할 수 있다. 사용자에게 보이는 답변에는 중간 과정이 빠질 수 있지만, 내부 추론 기록에는 더 많은 단서가 담길 수 있다. OpenAI의 내부 사이버보안 실험에서는 추론 요약으로 학습한 학생 모델보다 정확한 추론 흔적으로 학습한 모델이 지도 미세조정 이후 대체로 높은 성능을 보였다고 한다. 가벼운 강화학습을 추가한 뒤에는 추론 예산에 따라 결과가 달라졌다. 시험한 가장 높은 예산에서는 정확한 흔적을 사용한 모델이 앞섰고, 낮은 예산에서는 요약 학습 모델이 더 높은 점수를 얻었다.
- 요청의 전체 경로를 보호해야 한다. OpenAI는 추론 정보 추출을 거부하도록 모델을 훈련하고, 입력 및 출력 분류기를 함께 활용한다고 설명한다. 출력 검사는 도구 호출 인수에도 적용된다. 최종 답변에 정보가 없더라도 도구로 전달되는 인수에 민감한 내용이 노출될 수 있기 때문이다. API 제어는 대화, 계정, 조직, 모델 계열을 넘나드는 정보 재사용을 제한하는 데 쓰인다.
- 조직적 시도는 캠페인 단위로 탐지한다. 회사는 요청과 계정 수준의 신호를 함께 살펴 조직적인 추출 시도를 조사한다고 밝혔다. 조사, 자동 레드팀 테스트, 외부 제보에서 확인한 공격 방식은 추가 테스트와 방어 훈련에 반영된다.
OpenAI는 추론 정보 추출을 겨냥한 내부 적응형 평가 결과도 공개했다. 기존 안전장치를 적용한 GPT-6 Astra를 대상으로 한 공격 성공률은 평균 54.0%였고, 업데이트된 안전장치를 적용한 GPT-6.2 Astra에서는 0.2%였다고 한다. 다만 이는 회사가 보고한 내부 평가 결과이며 독립적인 제3자 검증은 아니다. 제공된 자료에 전체 시험 방법과 조건이 담겨 있지 않으므로, 이 수치를 모든 모델이나 공격에 그대로 적용해서는 안 된다.
의미와 영향
능력 추출을 막으려면 특정 요청을 거부하는 것만으로는 부족하다. 모델 훈련, 분류기, 도구 인터페이스, API 경계, 계정 단위 행동 분석이 함께 작동해야 한다. 사이버보안과 생물학처럼 방어와 공격 양쪽에 쓰일 수 있는 분야에서는 안전장치가 약한 모델로 능력이 넘어갈 때 위험의 범위가 달라질 수 있다.
OpenAI의 접근은 조사와 테스트에서 발견한 공격을 다시 방어 개선에 활용하는 순환 구조를 강조한다. 동시에 보호된 추론을 지키면서 정당한 설명과 지원은 계속 제공해야 하는 과제도 남는다. 실제 효과를 판단하려면 회사 내부 평가뿐 아니라 지속적인 검증과 외부의 평가가 필요하다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…