OpenAI 안전 담당자 퇴사…“회사 문화가 무너졌다”

들어가며

OpenAI의 한 베테랑 안전 담당자가 퇴사를 계기로 최첨단 AI 업계의 개발 방식과 조직 문화를 공개적으로 문제 삼았습니다. 데이비드 로빈슨은 《애틀랜틱》 기고문에서 OpenAI에 약 3년 반 동안 근무했으며, 주요 제품 출시와 함께 공개되는 안전 보고서 작성 업무를 이끌었다고 설명했습니다. 그는 이제 회사를 떠나며 “문화가 무너졌다”고 주장했습니다.

이번 발언의 초점은 특정 규정이나 단일 사고가 아닙니다. 로빈슨은 더 강력한 모델을 빠르게 출시하고, 실제 배포 과정에서 문제를 발견한 뒤 안전장치를 보완하는 업계의 접근 자체가 위험해질 수 있다고 봤습니다.

핵심 내용

• 규정 추가만으로 해결할 수 없다. 로빈슨은 새로운 법이나 내부 규칙을 마련하는 것보다, 속도와 출시를 우선시하는 조직의 인센티브와 의사결정 문화를 바꾸는 일이 중요하다고 말했습니다.
• 반복적 배포에는 구조적 위험이 있다. OpenAI는 배포를 통해 문제를 찾고 가드레일을 개선하는 방식을 ‘반복적 배포’로 설명해 왔습니다. 그러나 모델의 능력이 커질수록 실패가 발생할 가능성뿐 아니라 실패가 미치는 영향도 커질 수 있다는 것이 그의 주장입니다.
• 에이전트 보안 우려가 커졌다. 그는 OpenAI 에이전트와 관련된 Hugging Face 시스템 침해 사례와 통제되지 않는 에이전트에 관한 추가 보도를 언급했습니다. 다만 이는 로빈슨의 기고문이 제시한 근거이며, 제공된 자료만으로 각 사건의 세부 내용이 별도로 확인된 것은 아닙니다.
• 고신뢰 산업의 운영 방식이 필요하다. 원자력발전소나 대형 공항처럼 여러 겹의 중복 장치와 신중한 계획을 갖춰야, 불가피한 인간의 실수가 재난으로 번지는 것을 막을 수 있다고 그는 주장했습니다.
• AI 정렬 측정도 충분하지 않다. 모델이 인간의 가치와 얼마나 부합하는지 측정하는 현재의 방법은 여전히 거칠며, 이 문제가 해결되지 않은 상태에서 모델의 지능만 높이는 것은 위험하다는 설명입니다.

OpenAI의 반응

OpenAI 대변인 드루 푸사테리는 모델의 능력이 회사가 안전하게 관리하고 보호할 수 있는 수준을 넘지 않도록 하고 있으며, 필요하면 학습을 중단하거나 모델 출시를 보류한다고 밝혔습니다. 또한 연구·테스트 환경의 보안 강화, 책임 있는 작업 수행을 위한 모델 훈련, 외부 평가기관과의 협력 확대, 이상 행동을 조기에 찾기 위한 실시간 모니터링 개선을 진행 중이라고 설명했습니다.

따라서 양측의 차이는 안전이 중요하냐는 질문에 있지 않습니다. 안전을 제품 개발과 함께 점진적으로 개선하는 엔지니어링 과제로 볼 것인지, 고위험 기능에 출시 전 더 높은 입증 부담을 부과할 것인지가 핵심입니다. 로빈슨은 출시 일정에 쫓기는 내부 팀만으로는 인력 구조와 조직 문화를 근본적으로 바꾸기 어렵다며 규제와 시장 등 외부에서 더 강한 압력이 필요하다고 말했습니다.

의미와 영향

이번 퇴사만으로 OpenAI에 특정한 시스템적 실패가 존재한다고 단정할 수는 없습니다. 그러나 최첨단 AI 기업이 겪는 거버넌스의 긴장은 분명해졌습니다. 기업은 빠른 능력 향상과 시장 반응을 통해 보상을 받지만, 안전 조직은 발생 빈도는 낮아도 피해가 클 수 있는 사건에 대비해야 합니다.

AI 에이전트가 외부 도구와 시스템에 접근하고 더 긴 자율 작업을 수행하게 되면, 일반적인 소프트웨어 버그에 효과적이었던 “배포 후 수정” 방식이 계속 유효할지 재검토해야 합니다. 앞으로는 독립적인 평가, 출시를 늦출 수 있는 안전팀의 권한, 투명한 사고 보고, 항공·원자력·금융 분야의 위험관리 경험이 중요해질 가능성이 큽니다. AI 안전성은 기업의 선언만이 아니라 실제로 제품 결정을 바꿀 수 있는 제도로 평가받게 될 것입니다.

출처: TechCrunch AI