AI 안전 규칙은 누가 정해야 하는가

들어가며

인공지능은 금융, 통신, 국방, 에너지처럼 장애가 사회 기반시설로 확산될 수 있는 영역에 빠르게 들어가고 있다. 이에 따라 AI 안전은 더 이상 기업 내부의 제품 개발 문제에 머물지 않는다. 시장 경쟁, 공공 책임, 국가 안보가 함께 얽힌 제도 설계의 문제가 됐다. Cohere 공동 창업자 겸 CEO 에이던 고메즈는 사회를 바꿀 가능성이 큰 기술의 경계를 누가 정해야 하는지 묻는다. 소수의 선도 연구소가 정해야 하는가, 아니면 공개적이고 검증 가능한 거버넌스가 필요한가라는 질문이다.

다만 이 글은 Cohere 경영진이 작성한 의견문이라는 점을 감안해야 한다. 배경에는 Anthropic CEO 다리오 아모데이가 주요 AI 연구소 간 안전 협력을 추진하고, 이를 위해 정부에 제한적인 반독점법 면제를 요청한 로드맵이 있다. 따라서 글에는 정책적 주장뿐 아니라 기업 경쟁의 관점도 포함돼 있다. 그럼에도 안전 기준을 누가 만드는가라는 제도적 쟁점은 기업 간 경쟁을 넘어선다.

핵심 쟁점

• 안전장치의 필요성을 부정하는 글은 아니다. 고메즈는 AI가 소프트웨어와 시스템의 취약점을 찾는 데 활용될 수 있으며, 공격 역량이 방어 역량보다 빠르게 저렴해질 가능성을 인정한다. 고위험 분야에 배치되는 시스템에는 독립적 검토가 필요하다는 입장이다.
• 핵심은 위험의 정의다. 소수의 대형 연구소가 기준을 정하면 위험한 시스템의 범위, 평가 문턱, 개발 속도가 이들의 현재 역량을 중심으로 설계될 수 있다. 다른 개발자와 정부, 연구자, 영향을 받는 시민은 충분히 의견을 내기 어려워진다.
• 반독점 면제가 기존 강자를 고착시킬 수 있다. 기업 간 조율은 안전 연구에 필요한 시간을 확보할 수 있다. 하지만 동시에 선도 기업의 자본, 컴퓨팅 자원, 조직 규모가 합법적으로 경쟁하기 위한 사실상의 최소 조건이 될 위험도 있다.
• 모델 규모만으로는 위험을 설명하기 어렵다. 작은 모델도 도구 사용, 모델 조합, 검증 절차를 통해 상당한 능력을 보일 수 있다. 여러 모델이 협력하는 시스템은 단일 모델과 다른 위험 표면을 만들 수 있으며, 단순한 연산량 기준으로는 이를 놓칠 수 있다.

과거 사례가 주는 교훈

고메즈는 안전을 이유로 만든 제도가 시장 보호 장치로 변할 수 있다는 점을 설명하기 위해 미국의 채권평가 제도와 유럽의 자동차 정비 규제를 제시한다. 미국에서는 정부가 인정한 소수의 평가기관이 장기간 진입장벽을 형성했고, 복잡한 금융상품에 대한 평가 실패가 더 넓은 금융 불안을 키웠다. 유럽에서는 안전성과 신뢰성을 명분으로 자동차 제조사가 판매·정비 기준에 큰 영향력을 행사했으며, 그 구조를 완화하는 데 오랜 개혁이 필요했다.

이 사례들이 의미하는 바는 엄격한 기준이 불필요하다는 것이 아니다. 안전 기준을 기존 사업자가 독점적으로 관리할 필요는 없다는 것이다. AI 거버넌스에는 독립 평가기관, 학계, 정부, 오픈소스 개발자, 이용 산업, 영향을 받는 시민이 참여해야 한다. 기준을 뒷받침하는 근거를 공개하고, 이의를 제기할 절차를 마련하며, 새로운 위험에 맞춰 규칙을 계속 수정하는 것도 중요하다.

소수 기업의 비공개 합의는 단기적으로 조정 비용을 줄일 수 있지만, 장기적으로는 실험과 대안을 제한할 수 있다. 따라서 AI 거버넌스는 위험한 능력을 어떻게 억제할지뿐 아니라, 규칙으로 이익을 얻는 기업이 위험의 정의 자체를 좌우하지 않도록 어떻게 설계할지도 답해야 한다.

Hacker News