앤트로픽, AI의 재귀적 자기개선 능력에 가까워졌다고 경고

들어가며

AI가 더 나은 AI를 스스로 만드는 시점에 대한 논의가 추상적인 전망을 넘어 기업의 공식 위험 공시로 들어오고 있다. 앤트로픽은 수정된 S-1/A의 위험요인에서 연구개발에 AI를 더 많이 사용할수록 모델 능력의 발전 속도가 안전성, 정렬, 보안 조치의 구축·검증 속도를 앞설 수 있다고 설명했다. 개발 속도가 이미 빨라진 뒤에야 그 사실을 알아차릴 가능성도 인정했다.

핵심 내용

• RSI란 무엇인가. 재귀적 자기개선(RSI)은 AI가 다른 AI 시스템을 훈련하고 평가하며 개선하는 데 충분한 능력을 갖춰, AI 발전 속도를 급격히 높이는 상태를 뜻한다. 아직 업계 전체가 합의한 단일 판정 기준은 없다.
• 기준에 가까워질 수 있다는 판단. 제출서류에 따르면 앤트로픽은 이미 AI를 새 모델 개발에 사용하고 있으며, 과거에는 그 과정에서 발생한 능력의 도약을 당시 인식하지 못했을 가능성이 있다. 내부 추정과 미래 모델에 대한 전망을 토대로, 회사는 책임 있는 확장 정책이 정한 ‘AI에 기인한 급격한 발전’의 정의를 곧 충족할 수 있다고 봤다.
• 아직 기준을 넘었다는 의미는 아니다. 앤트로픽은 현재 모델 중 RSI 기준을 초과한 것으로 지정된 모델은 없다고 명확히 밝혔다. 관련 데이터에 대한 평가도 계속되고 있으므로, ‘임박했다’는 표현은 검증 완료 선언이 아니라 미래 위험에 대한 전망이다.
• 인간 통제를 유지한다. 회사는 의미 있는 인간의 감독이나 이해 없이 Claude가 후속 프런티어 모델을 완전히 자율적으로 설계하고 구축하는 방식을 안전하게 사용할 수 있을 것으로 예상하지 않는다. 인간이 개발을 통제하도록 정책을 갱신하는 방안도 검토 중이다.

의미와 영향

RSI는 서로 다른 두 가지 의미를 갖는다. 낙관론자들은 AI가 AI 개발을 지원하면 소프트웨어 개발, 과학적 발견, 생산성을 크게 높일 수 있다고 본다. 반면 안전성 연구자들은 능력 향상 주기가 빨라질 경우 평가, 정렬, 거버넌스가 따라가지 못할 수 있다고 우려한다.

이번 발언은 상장 신청서라는 맥락에서 해석해야 한다. S-1은 규제기관에 제출하는 문서인 동시에 투자자에게 기업의 이야기를 전달하는 자료다. 따라서 ‘자기개선 AI에 가깝다’는 주장을 독립적으로 검증된 기술적 결론으로 받아들여서는 안 된다. 그러나 앤트로픽은 코딩, 수학, 사이버보안 분야에서 Claude의 능력이 올해 크게 향상됐다고도 설명하고 있어, 이번 경고를 단순한 홍보로 치부하기도 어렵다.

실질적인 질문은 RSI가 이미 도달했는지가 아니라, 개발이 가속되기 전에 감시, 평가, 권한 통제, 중단 절차를 마련할 수 있는지다. 모델이 후속 모델의 설계에 깊이 관여한다면 해석 가능성, 접근 권한의 경계, 책임 소재가 핵심 거버넌스 과제가 된다. 안전 정책은 기준을 넘은 뒤가 아니라 그 전에 준비돼야 한다는 메시지가 이번 공시에 담겼다.

출처: TechCrunch AI