전 OpenAI 안전 담당자, AI에 ‘원전급’ 안전장치 촉구

들어가며

OpenAI의 주요 모델 출시와 함께 제공되는 안전 보고서를 작성했던 전 직원 데이비드 로빈슨이 퇴사 후 회사와 AI 업계의 안전 문화를 공개적으로 비판했다. 로빈슨은 이번 주 OpenAI를 떠났으며, 《디 애틀랜틱》 기고문에서 업계의 조직 문화가 근본적으로 망가졌다고 주장했다. 그의 발언은 고립된 사례가 아니다. 최근 OpenAI, Anthropic, Google DeepMind 등 주요 AI 기업의 연구자와 안전 담당자들이 회사를 떠난 뒤 최전선 AI의 위험성을 경고하고 있다.

핵심 내용

• 로빈슨은 문제를 새로운 규칙 하나나 추가적인 규제만으로 해결할 수 없으며, 모델을 개발하고 출시하는 방식 자체를 돌아봐야 한다고 말한다.
• 실리콘밸리의 ‘극단적인 자신감’과 ‘끝없는 속도전’은 더 크고 강한 모델을 만드는 과정에서 해결되지 않은 문제를 과소평가하게 만들 수 있다.
• 원자력발전소나 분주한 공항처럼 여러 겹의 방어선, 중복성, 신중한 계획을 도입해 불가피한 인간의 실수가 재난으로 이어지지 않게 해야 한다는 주장이다.
• Anthropic과 Google DeepMind 출신 인사들의 공개 경고도 이어지면서, AI 안전을 둘러싼 업계 내부의 논쟁이 더욱 드러나고 있다.

왜 중요한가

로빈슨은 외부에서 업계를 관찰하는 비평가가 아니다. 그는 주요 모델 출시 때 안전 문서를 작성했던 경험이 있다. 이 경력이 그의 모든 주장을 자동으로 입증하는 것은 아니지만, 최전선 모델의 위험성이 기업 내부에서 어떻게 평가되는지 살펴보는 데 중요한 맥락을 제공한다.

퇴사한 전 직원의 경고를 그대로 받아들여서는 안 된다는 시각도 있을 수 있다. 개인의 관점이 바뀌었거나 내부 상황을 완전히 파악하지 못했을 가능성도 있기 때문이다. 그러나 안전 우려가 퇴사 이후에야 공개되는 현상은 기업이 내부 이견과 위험 신호를 어떻게 다루는지라는 별도의 질문을 던진다. The Verge 역시 발언자의 동기를 의심하는 것만으로 경고를 무시해서는 안 된다는 취지로 지적한다.

더 큰 쟁점은 소비자용 소프트웨어에서 익숙한 ‘빠르게 시도하고 문제가 생기면 고친다’는 방식이, 영향 범위가 커지는 기반 모델에도 적합한지 여부다. 최전선 모델의 장애는 하나의 제품이나 사용자에 머물지 않고 모델에 의존하는 조직과 업무로 확산될 수 있다. 따라서 출시 전 테스트, 독립적 검토, 장애 격리, 긴급 대응은 개발 과정의 부수 업무가 아니라 기본 인프라로 취급되어야 한다.

의미와 영향

로빈슨은 완성된 규제 청사진을 제시하지는 않았다. 다만 최전선 AI 연구소가 ‘계속 개발하면 문제도 해결된다’는 낙관을 줄이고, 안전을 핵심 운영 기능으로 격상해야 한다는 방향은 분명히 했다. 안전 보고서가 출시를 장식하는 문서에 그치지 않고 출시 시점, 시스템 설계, 배포 범위에 실제 영향력을 행사하는지가 중요한 검증 기준이 될 수 있다.

이는 모든 고급 AI 개발을 중단해야 한다는 뜻은 아니다. 오히려 속도만을 진전의 유일한 기준으로 삼지 말자는 요구에 가깝다. 안전 인력의 퇴사와 공개 발언이 이어지는 가운데, 기업들은 내부 이견을 보호하는 방법, 위험을 공개하는 방식, 일상적인 인간의 실수까지 견딜 수 있는 안전장치를 어떻게 입증할지 설명해야 한다.

출처: The Verge AI