나델라 “모든 AI 모델은 침해됐을 가능성을 전제로 해야”

사티아 나델라 마이크로소프트 CEO가 X에 장문의 글을 올리고, 고도화되는 AI 모델의 위험과 이를 통제하기 위한 설계 원칙을 설명했다. 그의 주장은 모델을 더 똑똑하게 만드는 데만 집중하지 말고, 작동하는 동안에도 사람이 행동을 관찰하고 제한하며 필요할 때 멈출 수 있는 시스템으로 만들어야 한다는 데 초점이 맞춰져 있다.

핵심 제안

나델라는 AI를 내부 과정을 확인할 수 없는 ‘중첩된 블랙박스’로 취급하고, 모델의 조언이나 행동을 단순히 받아들이거나 거부하는 방식에는 한계가 있다고 지적했다. 특히 모델이 장시간 작업을 수행하거나 외부 도구와 시스템을 이용한다면 최종 결과뿐 아니라 실행 과정과 검증 가능한 증거도 필요하다.

그가 제시한 주요 방향은 다음과 같다.

• 침해 가능성을 기본값으로 삼는다. 모델이 이미 침해됐을 수 있다고 가정하고, 시스템 시작 단계부터 격리한다.
• 검증 가능한 기록을 남긴다. 모델이 어떤 행동을 했는지 사람이 읽을 수 있는 형태로 기록하고, 변조가 어려운 증거로 보존한다.
• 외부 감독을 강화한다. 사고를 신속하게 공개하고, 독립적인 감사를 실시하며, 검증 가능한 데이터를 사용하는 절차를 마련한다.
• 비상 제동 장치를 둔다. 권한을 가진 사람은 모델이 작업 중인 상황에서도 언제든 일시 정지하거나 종료할 수 있어야 한다.
• 격리 기술을 표준화한다. 더 강력한 모델에는 더 발전된 통제 기술이 필요하며, 업계 차원의 표준도 요구된다.

안전 논의의 중심이 운영으로 이동

이 제안은 AI 안전을 출시 전 평가에만 맡기지 말자는 의미를 갖는다. 사전 테스트는 중요하지만, 실제 환경에서는 예상하지 못한 입력이 들어오거나 모델이 도구를 예상과 다른 방식으로 사용할 수 있다. 외부 시스템에 영향을 주는 AI라면 핵심 질문은 모델이 얼마나 뛰어난가를 넘어, 어떤 권한을 갖고 있으며 누가 실행을 중단할 수 있는가가 된다.

따라서 실행 로그, 권한 경계, 격리된 환경, 인간의 개입, 작업 중지 기능은 모델 성능과 함께 중요한 방어 계층이 된다. 이런 장치가 있으면 사고 이후 모델의 설명에만 의존하지 않고, 실제로 어떤 일이 일어났는지 조사할 수 있다.

‘침해됐다고 가정하라’는 표현은 모든 AI 모델이 실제로 공격받았다는 단정은 아니다. 내부 상태를 완전히 확인하기 어려운 상황에서도 시스템 통제권을 유지하기 위한 보수적인 보안 설계 원칙에 가깝다. 문제가 발생한 뒤 대응하는 대신, 처음부터 피해 범위와 모델의 행동을 제한하는 접근이다.

나델라의 글은 ‘슈퍼인텔리전스’라는 표현도 반복해서 사용하지만, 용어 자체가 구체적인 위험 평가를 대신할 수는 없다. 실제로 중요한 것은 모델이 무엇을 할 수 있는지, 어떤 자원에 접근하는지, 어떤 기록을 남기는지, 그리고 사람이 필요할 때 중단할 수 있는지다. AI가 단순한 질문 응답을 넘어 지속적인 작업 수행으로 이동할수록, 마지막 중단 권한을 누가 갖는지가 중요한 운영 문제로 떠오른다.

출처: The Verge AI