앤트로픽의 ‘프런티어 AI 속도 조절’ 구상, 경쟁에 브레이크를 걸 수 있을까

들어가며

프런티어 AI 기업들이 더 강력한 모델을 만들기 위한 경쟁 속도를 자발적으로 늦출 수 있을까. 앤트로픽 CEO 다리오 아모데이는 구체적인 방향을 제시했다. 그는 최근 블로그 글에서 프런티어의 속도를 조절해야 한다고 주장했다. 연구개발을 중단하자는 뜻이 아니라, 충분한 검증 없이 AI 능력이 상승하는 속도를 낮춰 안전 평가와 사고 대응에 필요한 시간을 확보하자는 제안이다.

오픈AI CEO 샘 올트먼은 이에 동의하며, 오픈AI에서도 최근 핵심 논의 주제가 됐다고 밝혔다. 일론 머스크 역시 아모데이의 판단이 옳다고 공개적으로 반응했다.

세 가지 해법

아모데이가 제안한 방안은 크게 세 가지다.

• 제3자 평가자를 회사 안에 배치한다. 앤트로픽은 METR 같은 외부 기관의 평가자를 받아들이겠다고 일방적으로 약속했다. 평가자에게는 회사 출입증과 업무 공간, 노트북이 제공되며, 법률이나 계약상 제한을 제외하면 내부 위험 평가팀과 대체로 비슷한 수준의 접근 권한이 주어진다. 이들은 안전 약속과 개발 속도 조절 조치가 지켜지는지 확인하고, 사고가 제대로 보고되도록 감시한다. 올트먼은 오픈AI도 같은 방식을 도입하겠다고 말했다.
• 민주주의 국가에서 공통 기준을 조율한다. 주요 AI 기업들이 공통 안전 기준을 만들고, 검증되지 않은 AI 발전 속도에 어떤 제한을 둘지 논의해야 한다는 주장이다. 경쟁사 간 협의가 반독점 문제를 일으킬 수 있는 만큼, 미국 정부가 중재하거나 특정 안전 논의에 한정된 면책을 제공할 수 있다고 제안했다.
• 최소한의 국제 협력을 추진한다. 미국과 동맹국은 중국을 포함한 다른 정부와 가능한 범위에서 협력해야 한다. 포괄적인 합의는 어렵더라도, AI를 이용한 생물무기 생산이나 사용자의 그러한 행위를 지원하는 것처럼 명백히 위험한 용도를 금지하는 데에는 합의할 여지가 있다는 설명이다.

지금 제안이 나온 이유

아모데이는 오픈AI와 허깅페이스가 관련된 해킹 사건과 최근 몇 달간 AI 능력이 급격히 발전한 점을 신중론을 강화한 배경으로 들었다. 특히 AI가 차세대 AI 시스템을 만드는 작업을 지원하는 능력이 커지고 있다는 점에 주목했다. 개발 사이클 자체가 빨라지면 안전 검증이 발전 속도를 따라가지 못할 수 있다는 우려다.

앤트로픽 연구자 제이컵 콕슨은 주요 AI 기업들이 지나치게 큰 위험을 감수하고 있다는 우려를 이유로 회사를 떠났다. 아모데이의 글은 그의 사임을 직접 언급하지 않았지만, 이 사건은 프런티어 AI 연구소를 둘러싼 신뢰 위기를 보여준다.

의미와 논쟁

이번 제안의 가장 구체적인 부분은 AI 안전에 대한 추상적 경고를 실제 감독 장치로 바꾸려 했다는 점이다. 외부 평가자가 충분한 독립성과 접근 권한을 확보한다면 기업의 자체 점검이 가진 한계를 보완할 수 있다. 공통 기준 역시 안전에 투자하는 기업만 경쟁에서 불리해지는 문제를 줄일 가능성이 있다.

그러나 장애물도 분명하다. 기업 간 조율은 반독점 당국의 심사를 부를 수 있고, 중국과의 협력은 전략 경쟁과 기술 통제로 제한된다. 소수의 대형 기업이 규칙을 만들 경우 신규 진입자의 부담을 높이는 ‘규제 포획’이 될 수 있다는 비판도 나온다. AI의 극단적인 미래 위험보다 편향, 고용 충격, 악용처럼 이미 발생한 피해를 우선해야 한다는 지적도 있다.

따라서 ‘프런티어 속도 조절’은 완성된 정책이라기보다 검증이 필요한 거버넌스 실험에 가깝다. 평가자의 독립성, 사고 공개의 투명성, 그리고 약속이 일부 대기업을 넘어 주요 참여자 모두에게 적용되는지가 실효성을 결정할 것이다. 아모데이는 AI가 인간의 삶을 크게 개선할 수 있다는 전망을 유지하지만, 그 혜택을 얻으려면 확보한 시간을 활용해 더 신중하게 개발해야 한다고 강조한다.

출처: TechCrunch AI