캘리포니아, 검증 가능한 AI ‘킬 스위치’ 검토

들어가며

미국 연방 차원의 AI 입법이 좀처럼 진전되지 않는 가운데, 캘리포니아가 다시 규제 선도 지역을 자처하고 나섰다. 개빈 뉴섬 주지사가 발표한 새 행정명령은 AI 안전 기준을 주법에 어떻게 강화해 반영할지 전문가들이 검토하도록 하는 내용이다. 가장 큰 관심을 받은 부분은 프런티어 모델에 정기적으로 검증되는 ‘킬 스위치’를 요구할 가능성이다.

핵심 내용

• 두 달 안에 권고안 제출: 전문가 그룹은 캘리포니아의 AI 안전 법제를 강화하는 방안을 검토하고 두 달 안에 권고안을 내야 한다.
• 독립 검증 도입: AI 기업이 독립 검증팀의 정기 감사를 받도록 하는 방안이 논의된다. 투명성 보고서와 위험 평가도 독립 감사 기준에 따라 심사받을 수 있다.
• 중단 장치의 실효성 확인: 킬 스위치는 설치하는 것만으로 충분하지 않으며, 긴급 상황에서 실제로 작동하는지 정기적으로 확인해야 한다는 구상이다. 구체적인 기술 방식이나 발동 권한은 아직 제시되지 않았다.
• 통제 상실 사고 보고: 기업이 ‘통제 상실 사건’을 중대한 안전 사고로 보고하도록 하는 방안도 포함됐다. 원문은 OpenAI의 Hugging Face 공격을 사례로 언급한다.
• 기존 법률 시행 가속: 독립 검증자가 AI 안전성을 평가하는 체계와 AI 감사관 등록부를 만드는 최근 법률의 시행도 앞당기도록 주 정부 기관에 지시했다.

지금 추진하는 이유

배경에는 연방 차원의 입법 정체가 있다. 고도화된 AI가 극단적인 위험을 초래할 수 있다는 경고가 의회 논의를 촉발했지만, 하원은 11월까지 휴회하고 중간선거도 다가오고 있다. 이에 따라 상원에서 대형 법안이 조만간 통과될 가능성은 낮다는 평가가 나온다. 뉴섬 주지사는 의회와 트럼프 행정부가 캘리포니아의 체계를 검토해 전국 규제의 출발점으로 삼아야 한다고 주장하고 있다.

의미와 영향

‘킬 스위치’라는 표현은 간단한 비상 버튼을 떠올리게 하지만, 실제 도입에는 접근 권한, 제3자 검증, 책임 소재, 여러 지역에서 운영되는 모델에 대한 적용 등 복잡한 문제가 따른다. 개발사가 스위치를 독점하면 독립성이 의심될 수 있고, 규제기관이나 외부 기관이 작동 권한을 갖게 되면 오작동, 기밀 보호, 법적 책임을 둘러싼 분쟁이 생길 수 있다.

단기적으로는 감사와 사고 보고 제도가 더 직접적인 영향을 미칠 가능성이 있다. 독립 평가와 공통 보고 기준이 마련되면 규제기관은 모델별 안전성을 비교하기 쉬워진다. 동시에 프런티어 모델 개발사의 준수 비용은 늘어나고, 다른 주들도 유사한 제도를 채택할 수 있다.

다만 이번 행정명령이 캘리포니아의 모든 프런티어 모델에 즉시 킬 스위치를 의무화한 것은 아니다. 현재는 정책 권고를 준비하는 단계다. 어떤 모델을 규제 대상으로 삼을지, 누가 언제 장치를 작동할지, 개발 속도와 안전 심사를 어떻게 조정할지는 향후 권고안과 입법에 달려 있다.

출처: The Verge AI