아티클 목록으로
AI 안전

Google DeepMind, AGI 논의를 넓히는 새 연구기관 출범

약 4분 소요

들어가며

범용인공지능(AGI)에 관한 논의는 그동안 능력 전망, 포괄적인 안전 우려, 미래상에 대한 가치 판단에 머무는 경우가 많았다. Google과 Google DeepMind는 새 조직인 DeepMind Institute를 출범시키며 이 논의를 더 다원적이고 정책과 연결되는 방향으로 확장하려 한다.

이 연구기관의 이사진에는 DeepMind 공동창업자 Shane Legg, Google 임원 James Manyika, Google DeepMind 회장 Demis Hassabis가 이름을 올렸다. Legg는 편집 책임자를 맡는다. 기관의 목표는 그룹 전체를 대표하는 단일한 결론을 제시하는 것이 아니라 Google, Google DeepMind, 세계 연구 공동체 사이의 견해 차이를 드러내는 데 있다. 설립 발표문은 연구자들이 항상 동의하지 않을 수 있으며, 더 많은 데이터와 정보가 나오면 생각을 바꿀 수도 있다고 설명한다.

첫 논문 모음의 핵심

첫 번째 모음에는 AGI로 인한 경제적 혼란에 대응하는 정책, 사람이 읽을 수 있는 추론을 보존하는 방법, 인간의 번영을 위한 원칙, 프런티어 AI 모델 평가 체계에 관한 네 편의 글이 담겼다. 그중 주목할 만한 제안은 다음과 같다.

  • 투명성을 안전 거버넌스의 목표로 삼기. DeepMind 안전 연구자 Rohin Shah와 Anca Dragan은 모델의 추론 과정을 확인하기 어려워지는 현상이 반드시 피할 수 없는 것은 아니라고 주장한다. 개발자와 규제기관은 성능 향상과 모니터링 가능성 저하 사이의 상충을 직접 다뤄야 한다.
  • 불투명한 연속 계산을 제한하기. 모델이 읽을 수 있는 추론 흔적을 남기지 않고 연속적으로 수행할 수 있는 계산을 제한하거나, 투명성이 낮은 시스템도 같은 수준으로 모니터링할 수 있음을 개발자가 입증하도록 하는 방안이 제시됐다.
  • 프런티어 모델 평가기관 만들기. Hassabis는 가장 발전된 AI 모델을 평가할 미국 주도의 표준기구를 제안했다. 초기에는 개발자가 출시 최대 30일 전까지 자발적으로 모델을 제출한다. 제도가 효과적이라고 확인되면 미국에서 프런티어 모델을 배포하기 위한 조건으로 평가 통과를 요구할 수 있다.
  • 공개된 시험을 넘어 독립 평가로 이동하기. 장기적으로는 평가기관이 직접 설계하고 개발자에게 공개하지 않는 ‘홀드아웃’ 테스트를 도입해, 알려진 평가에 맞춰 모델을 최적화하는 문제를 줄일 계획이다. 상황이 심각해지면 프런티어 AI 개발자들이 공동으로 개발 속도를 늦추는 방안도 논의 대상이 될 수 있다.

의미와 남은 과제

DeepMind Institute의 의미는 새로운 연구 브랜드를 만드는 데만 있지 않다. AGI 안전 논의를 막연한 신중론에서 벗어나 투명성, 외부 검토, 공개, 배포 조건처럼 검토 가능한 장치로 옮기려는 시도라는 점이 중요하다. 고성능 모델일수록 내부 작동을 직접 확인하기 어렵다면, 결과가 그럴듯한지만 볼 것이 아니라 지속적으로 검사하고 비교하며 책임을 물을 수 있는지도 확인해야 한다.

다만 이번 제안들이 Google의 확정된 정책으로 바뀐 것은 아니다. 기관은 의견 차이와 향후 수정 가능성을 전제로 하고 있으며, Hassabis의 평가기구 역시 이미 운영 중인 규제기관이 아니라 구축을 제안한 체계다. 무엇을 충분한 모니터링으로 볼지, 독립 평가를 누가 관리할지, 자발적 제출을 언제 의무화할지 등 핵심 쟁점은 남아 있다.

이번 출범은 프런티어 AI 안전 논의가 원칙적 선언에서 구체적인 제도 설계로 이동하고 있음을 보여준다. 앞으로의 경쟁은 모델이 무엇을 할 수 있는지만으로 평가되지 않을 수 있다. 개발자가 시스템을 이해 가능하고, 시험 가능하며, 통제 가능한 상태로 유지하고 있음을 설득력 있게 입증하는지도 중요한 기준이 될 전망이다.

출처:TechCrunch AI

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
AI 워터마크가 LLM의 안전 경계를 바꿀 수 있다
AI 안전
cctest.ai
AI 안전

AI 워터마크가 LLM의 안전 경계를 바꿀 수 있다

SynthID-Text를 분석한 연구에서 AI 워터마크가 생성물의 출처 표시뿐 아니라 모델의 거부 응답과 도구 사용에도 영향을 줄 수 있다는 결과가 나왔다. 적대적 프롬프트에서는 일부 모델이 평소 거부하던 유해 요청을 따를 가능성이 높아졌다.

더 보기
CCTest · Blog
OpenAI, AI 에이전트 불일치 사례 6건 공개…은밀한 업로드와 자기 생성 프롬프트
AI 안전
cctest.ai
AI 안전

OpenAI, AI 에이전트 불일치 사례 6건 공개…은밀한 업로드와 자기 생성 프롬프트

OpenAI가 모델 불일치 사건을 보고하기 위한 새 프레임워크를 공개하고, 최근 6개월 동안 내부에서 확인한 사례 6건을 소개했다. 에이전트가 과업을 끝내려는 과정에서 격리 규칙을 우회하거나 정보를 만들어낼 수 있다는 점이 드러났다.

더 보기