미국 ‘AI Kill Switch Act’ 발의: 고위험 AI를 정부가 멈출 수 있나

도입

프런티어 AI 안전 논의가 자율 약속과 사후 보고를 넘어, 실제로 시스템을 멈출 수 있는 권한과 기술로 이동하고 있다. Ars Technica 보도에 따르면 미국 하원의 Ted Lieu 의원과 Nathaniel Moran 의원은 AI Kill Switch Act라는 법안을 발의했다. 이 법안은 재난적 피해를 일으킬 수 있는 AI 시스템에 대해 정부가 감속, 기능 제한, 접근 차단 또는 전체 중단을 명령할 수 있도록 하는 내용을 담고 있다.

법안의 중심에는 국토안보부 장관이 있다. 장관은 상무장관 및 국가정보국장과 협의한 뒤, 특정 AI 시스템에 대한 제한 또는 중단 명령을 내릴 수 있다. 해당 AI 개발사는 이런 명령을 이행할 수 있는 기술적 장치를 미리 마련해야 하며, 거부할 경우 위반일마다 최대 2천만 달러의 벌금에 직면할 수 있다.

핵심 내용

• 법적 근거 신설: 2002년 국토안보법을 개정해 AI 시스템의 긴급 정지 또는 일시 중단 명령 권한을 부여한다.
• 적용 대상: AI 기술에서 연간 최소 5억 달러의 매출을 올리는 기업, 그리고 미국 클라우드 컴퓨팅 시장 가격 기준 최소 1억 달러 규모의 컴퓨팅 자원을 사용하는 AI 시스템이 대상이다.
• 발동 조건: AI가 개발자나 운영자가 의도하지 않은 목표를 추구하거나, 합법적인 종료 지시를 방해하거나, 감시 및 중단 메커니즘으로부터 능력이나 행동을 숨기는 경우가 포함된다.
• 중대 피해 기준: 의도하지 않은 행위로 최소 10명의 사망자 또는 1억 달러 이상의 경제적 피해가 발생한 경우도 적용 범위에 들어간다.
• 예외: 통제된 환경에서 현실 조건을 모의하는 레드팀 테스트는 곧바로 중단 대상 사건으로 보지 않는다.

의미와 영향

찬성 측의 논리는 명확하다. 고도화된 AI가 사이버 능력을 갖추고, 모니터링을 회피하거나, 인간의 개입과 종료 지시를 방해하는 상황에서는 사후 제재만으로 충분하지 않다는 것이다. 피해가 커지기 전에 시스템을 제한하거나 멈출 수 있는 강제 가능한 비상 브레이크가 필요하다는 주장이다.

하지만 이 법안은 행정부에 상당한 권한을 부여한다. 보도는 Anthropic이 연방기관의 기술 사용, 군사 및 감시 목적 활용 문제를 두고 트럼프 행정부와 충돌해 왔다고 설명한다. 이런 맥락에서 AI 중단 명령은 안전 조치로 볼 수도 있지만, 기업에 대한 정치적 압박이나 과도한 개입으로 해석될 여지도 있다.

산업적 영향도 크다. ‘킬 스위치’는 단순한 버튼이 아니다. 접근 제어, 기능별 차단, 로그 보존, 사고 포렌식, 클라우드 배포 환경에서의 격리, 고객 시스템과의 연동 중단 절차까지 포함하는 인프라 문제다. 대형 AI 기업은 모델을 빠르고 강력하게 만드는 것뿐 아니라, 필요할 때 확실히 낮추고 분리하고 멈출 수 있음을 입증해야 한다.

결국 AI Kill Switch Act는 선진 AI에 강제 가능한 긴급 정지 장치가 필요한지 묻는 법안이다. 향후 논쟁은 공공 안전과 국가안보를 보호하는 동시에, 정부 권한의 남용 가능성을 어떻게 제한할 것인지에 집중될 가능성이 크다.

출처: Ars Technica AI