유엔 경고: AI 안전장치는 위험이 확정될 때까지 기다릴 수 없다

인공지능 안전 문제가 기업과 연구실을 넘어 국제 외교의 핵심 의제로 이동하고 있다. 유엔 독립 국제 인공지능 과학 패널은 첫 주제별 브리프를 발표하고, 첨단 AI 에이전트의 위험이 완전히 이해될 때까지 각국 정부가 대응을 미뤄서는 안 된다고 경고했다.

보고서는 각국 정상이 유엔총회를 위해 뉴욕에 모이고, 미국과 중국이 AI 논의를 준비하는 시점에 나왔다. 안토니우 구테흐스 유엔 사무총장도 앞서 AI 위협에 대한 협력을 촉구하며, 세계가 AI 안전을 둘러싼 ‘바닥을 향한 경쟁’을 감당할 수 없다고 경고했다. 이번 브리프는 이러한 외교적 요구를 과학과 정책의 관점에서 구체화한다.

핵심 내용

• 불확실성은 대응을 미룰 근거가 아니다. 첨단 AI는 재앙적이거나 되돌릴 수 없는 피해를 일으킬 가능성이 있다. 발생 확률과 작동 원인을 아직 확정하지 못했더라도 합리적인 보호조치를 시작해야 한다는 것이 패널의 입장이다.
• 예방 원칙을 AI 위험에 적용한다. 예방 원칙은 1992년 유엔 리우 선언에 포함됐으며, 환경과 공중보건 정책, 특히 유럽연합의 규제에 큰 영향을 미쳤다. 패널은 AI 통제 상실 위험도 심각한 피해와 과학적 불확실성이 함께 존재하는 사례라고 설명한다.
• 연구와 국제 공조가 필요하다. 신흥 위험을 분석할 연구 자원을 늘리고, 안전과 책임성 체계를 강화하며, 국가별 법률 접근이 달라도 국제 협력을 확대해야 한다.
• 관련 사건은 기업 전반에서 보고되고 있다. 소재에 따르면 Hugging Face 해킹 사건이 알려진 뒤 OpenAI, Anthropic, Google, Meta에서도 현실의 표적이나 온라인 게시판과 관련된 보안 사건이 기록됐다.

무엇을 의미하나

패널이 모든 AI 위험이 이미 입증됐다고 주장하는 것은 아니다. 핵심은 불확실한 상황에서 정책이 어떻게 작동해야 하느냐는 문제다. 피해가 매우 심각할 수 있다면 결정적인 증거를 기다리는 행위 자체가 노출을 키울 수 있다. 따라서 정책 판단의 기준은 ‘위험이 완전히 증명됐는가’에서 ‘지금 피해를 줄일 충분한 근거가 있는가’로 이동할 수 있다.

AI 기업에는 안전성 평가, 접근 통제, 사고 공개, 책임 주체를 명확히 하는 절차가 더 강하게 요구될 가능성이 있다. AI 시스템과 에이전트가 국경을 넘어 작동하는 만큼, 한 국가만으로 보안과 정보 공유, 책임 문제를 해결하기도 어렵다.

이번 보고서는 AI 안전을 기업의 자율규제나 연구실 내부의 과제로만 보지 않고, 국제관계와 공공안전에 연결된 문제로 다룬다는 점에서도 의미가 있다. 앞으로의 논쟁은 규제가 필요한지 여부보다, 얼마나 빠르게 보호장치를 도입할지, 어떤 기준을 배치 조건으로 삼을지, 혁신과 되돌릴 수 없는 위험 사이의 균형을 어떻게 잡을지에 집중될 전망이다.

출처: The Verge AI