Anthropic이 AI로 AI를 개발하자 안전 연구자들이 우려하는 이유

들어가며

AI 기업이 AI를 활용해 다음 세대 모델을 개발하는 일은 새로운 현상이 아니다. 그러나 AI 안전 연구기관 METR이 Anthropic을 11주 동안 조사한 결과는 이 과정이 얼마나 빠르게 진행되는지 보여주는 드문 외부 자료다. METR은 Anthropic의 모델 개선 속도가 1년 전보다 약 두 배 빨라졌다고 평가했다. 특히 이러한 변화의 상당 부분은 학습에 투입한 컴퓨팅 자원을 단순히 늘린 결과가 아니라, AI가 연구개발 과정에 더 깊이 참여한 결과로 보인다고 설명했다.

핵심 내용

• 모델 발전 속도가 빨라졌다. METR의 벤치마크 분석에 따르면 Anthropic은 지난 1년 동안 과거의 역사적 발전 약 2년에 해당하는 성과를 냈다. 연구진은 계산량 확대만으로는 이러한 가속을 주로 설명하기 어렵다고 판단했다.
• 연구자 생산성이 크게 높아졌다. Anthropic의 가장 강력한 내부 모델을 사용한 직원들은 AI를 사용하지 않을 때보다 평균 약 12배 생산적이었다고 자체 보고했다. 이는 비공식 설문 결과이므로 모든 직무에 적용되는 통제 실험의 수치로 보기는 어렵다.
• 현재는 인간 협업이 중심이다. 지금까지 확인된 가속은 AI가 인간 연구자를 지원하는 방식에서 주로 나타났다. 모델이 독립적으로 연구를 수행하는 단계는 아니지만, METR은 완전 자율적인 기여가 앞으로 커질 가능성을 언급했고 뚜렷한 감속 요인도 찾지 못했다.
• 더 발전한 모델은 공개되지 않았다. Anthropic은 최근 6개월 동안 내부 모델 3개의 학습을 완료했지만 일반에 공개하지 않았다. 따라서 외부 연구자들은 관련 성능과 발전 속도를 직접 재현할 수 없다.
• 공개 보고서에는 큰 제약이 있다. Anthropic은 내부 연구, 성능 자료, 직원 인터뷰 등을 METR에 제공했지만 공개본을 삭제할 권한도 가졌다. METR은 약 100쪽 분량의 전체 보고서에서 가장 유용한 증거 상당수가 빠졌고, 일부 자료 요청도 거절됐다고 밝혔다.

의미와 영향

이 보고서가 AI가 이미 인간의 개입 없이 스스로를 완전히 개선할 수 있다는 뜻은 아니다. 더 중요한 시사점은 강력한 피드백 고리가 형성되고 있다는 점이다. 더 나은 모델이 연구자의 생산성을 높이고, 빨라진 연구가 다시 더 나은 모델을 조기에 만들어낼 수 있다. 이 흐름이 지속된다면 컴퓨팅 자원과 학습 예산만으로 AI 발전 속도를 예측하는 방식은 점점 덜 정확해질 수 있다.

이 현상은 Anthropic의 공개적 입장과도 긴장 관계를 만든다. Anthropic은 AI 안전을 강조해왔고 CEO Dario Amodei 역시 개발 속도를 늦춰야 한다고 주장했다. 하지만 회사는 AI를 활용해 AI 연구개발 자체를 가속하고 있다. 핵심 문제는 연구소가 AI를 사용해야 하는지 여부만이 아니다. 가속의 원리가 충분히 공개되지 않고 가장 중요한 근거를 외부에서 확인하기 어렵다면, 사회가 위험을 파악하고 제때 대응할 수 있는지가 문제다.

Anthropic은 경쟁사의 개발을 빠르게 만들 수 있는 정보와 영업 비밀을 보호하기 위해 삭제가 필요했다고 설명한다. 이 주장은 이해할 수 있지만, 공개 증거가 줄어들수록 대중은 METR의 판단에 더 의존해야 한다. Anthropic은 AI 발전 속도에 관한 자체 보고서와 추가 안전 조치를 곧 발표할 계획이라고 밝혔다. 앞으로 중요한 것은 모델 능력이 얼마나 빨리 향상되는지만이 아니라, 그 과정을 독립적이고 반복 가능하게 검증할 수 있는 투명성이 마련되는지다.

출처: The Verge AI