개요
증류는 작은 모델이 강력한 모델의 답변이나 판단을 바탕으로 학습하도록 하는 기법입니다. 그러나 출력을 무단으로 수집하면 원래 모델의 안전 경계를 넘어 능력이 이전될 수 있습니다. OpenAI는 보호된 추론 내용의 추출을 막고, 조직적인 수집 활동을 찾아내기 위한 방어책을 공개했습니다.
핵심 내용
- 지식재산권만의 문제가 아니다. OpenAI는 학생 모델이 사이버보안이나 생물 분야의 능력을 익히면서도 교사 모델과 같은 수준의 안전장치를 물려받지 않을 수 있다고 우려합니다. 원래 모델이 거부한 지원이 보호 수준이 낮은 모델에서 제공될 가능성이 있습니다.
- 추론 과정도 능력 이전에 영향을 줄 수 있다. 회사의 내부 연구는 최종 답변과 추론 요약을 이용한 학습을 정확한 추론 궤적으로 학습한 경우와 비교했습니다. OpenAI에 따르면 사이버보안 및 코딩 평가의 일부 단계에서 정확한 궤적을 사용한 학생 모델의 성능이 더 높았습니다. 최종 답변뿐 아니라 과정 정보도 가치 있는 학습 데이터가 될 수 있다는 의미입니다.
- 여러 단계에서 요청을 점검한다. OpenAI는 추론 추출 시도를 알아차리도록 모델을 대항 학습합니다. 입력 분류기는 의심스러운 프롬프트를 찾고, 출력 분류기는 답변과 도구 호출 인수를 검사해 유출이 의심되는 내용을 호출자에게 전달하기 전에 차단합니다. 스트리밍과 비스트리밍 응답 모두에 적용됩니다.
- API로 대화 간 재사용을 제한한다. 회사는 사용자, 워크스페이스, 조직, 모델 계열 간 분리를 강화하고 보호된 추론을 생성한 대화 기록에 연결했다고 설명합니다. 이전 기록을 수정하면 그 이후의 추론은 폐기됩니다. 안전장치가 약한 구형 모델 계열이 신형 모델의 보호된 추론을 읽지 못하도록 하는 조치도 포함됩니다.
- 개별 요청을 넘어 공격 캠페인을 조사한다. 요청 및 계정 수준의 신호를 함께 분석해 조직적인 추출 활동을 탐지합니다. 조사와 자동화된 레드팀 테스트에서 발견한 공격 사례는 방어 체계를 개선하는 데 활용한다고 밝혔습니다.
OpenAI는 GPT-6.2 Astra를 대상으로 한 내부 적응형 평가에서 이전 응답의 보호된 추론을 복구하려는 공격의 성공률이 기존 안전장치에서는 54.0%, 업데이트된 안전장치에서는 0.2%였다고 밝혔습니다. 이는 회사가 공개한 내부 평가 결과로, 독립적인 업계 벤치마크를 통해 검증된 수치는 아닙니다. 모든 형태의 증류 공격이 차단됐다는 뜻도 아닙니다.
의미와 과제
이번 공개는 모델 증류를 상업적·지식재산권 문제뿐 아니라 AI 안전 문제로 다뤄야 함을 보여줍니다. 허용된 작업에서 생성된 데이터라도 대량으로 모이면 학생 모델이 더 민감한 능력으로 일반화할 수 있습니다. 업계에는 거부 응답만으로 충분하지 않으며, 출력 검토와 도구 호출 검사, API 경계 설정, 활동 조사를 서로 보완하도록 설계하는 접근이 시사점을 줍니다. 동시에 추론 추출을 막으면서 정상적인 설명과 개발자 업무 흐름을 유지하는 일은 배포 과정의 과제로 남습니다. OpenAI는 학생 모델과 학습 방식에 따른 능력 이전을 계속 연구하겠다고 밝혔습니다.
출처: Web Search
댓글
로그인 상태 확인 중…
댓글 불러오는 중…