AI 연구팀이 선형 어텐션 아키텍처를 자율적으로 발견하는 방법

서론: 자율 연구의 병목은 조직에도 있다

AI 에이전트는 연구 아이디어를 제안하고, 코드를 수정하며, 실험을 실행할 수 있는 수준에 가까워지고 있다. 이는 과학적 발견을 자동화할 가능성을 열지만, 동시에 실험 비용이라는 현실적인 문제를 드러낸다. 시도할 수 있는 가설의 수가 제한된 상황에서 비슷한 배경의 에이전트만 모으면 유사한 방향을 반복적으로 탐색하다가 지역 최적점에 머물 수 있다.

캘리포니아대학교 샌타바버라 연구진은 이 문제를 단순히 더 강력한 에이전트를 만드는 과제가 아니라, AI 연구자를 어떻게 조직할 것인지에 대한 문제로 다뤘다. 서로 다른 연구자가 어떤 방식으로 역할을 나누고, 지식을 축적하며, 제한된 실험 기회를 배분받아야 하는지가 핵심 질문이다.

제안된 AI 연구팀 구조

연구팀은 서로 다른 과학적 배경을 가진 지속형 AI 연구자들로 구성된다. 각 에이전트는 자신의 연구 이력을 비공개로 유지하면서 실험 결과와 같은 증거는 팀과 공유한다. 이를 통해 개별 연구자의 연속적인 탐색과 팀 차원의 협업을 함께 구현한다.

핵심 구성 요소는 세 가지다.

• 전문 분야의 다양성: 서로 다른 지식과 사고방식을 부여해 탐색 방향을 넓히고, 모든 연구자가 같은 지역 최적점으로 향하는 위험을 줄인다.
• 비공개 연구 이력: 에이전트가 과거의 시도, 실패, 판단을 유지하게 해 최신 공유 결과에만 반응하지 않고 장기적인 연구 경로를 만들도록 한다.
• 적응형 기회 배분: 모든 연구자에게 동일한 기회를 주는 대신, 지금까지의 결과와 진척도에 따라 다음 실험을 제안하고 실행할 연구자를 선택한다. 새로운 영역을 탐색하는 동시에 가능성이 확인된 방향도 활용하기 위한 방식이다.

이 팀은 선형 어텐션 아키텍처를 탐색하는 데 투입됐다. 여기서 중요한 것은 한 에이전트가 한 번에 완성된 구조를 내놓는 것이 아니다. 각 실험 결과가 다음 가설과 실험 선택에 영향을 주도록 하면서 제한된 예산 안에서 탐색을 지속하는 것이다.

결과: 팀을 구성하는 방식이 발견을 바꾼다

1.3B 규모 평가에서 팀이 발견한 아키텍처는 언어 모델링, 상식 추론, 합성 검색, 실제 세계 검색 과제에서 GDN2보다 높은 성능을 보였다. 연구진은 최종 결과뿐 아니라 팀 설계의 각 요소를 제거하는 통제 비교도 수행했다.

전문 분야의 다양성을 없애면 탐색이 일찍 정체됐다. 비공개 연구 이력을 제거하면 공유되는 증거가 동일하더라도 연구 진척이 감소했다. 적응형 선택을 균등 배분으로 바꾸었을 때도 같은 예산 안에서 성과가 낮아졌다.

이는 자율적인 AI 연구의 성능이 개별 에이전트의 능력만으로 결정되지 않는다는 점을 보여준다. 누가 탐색하는지, 각 연구자가 무엇을 기억하는지, 다음 실험에 자원을 어떻게 배정하는지가 모두 결과에 영향을 준다.

의미와 남은 과제

이 연구가 제시하는 미래의 AI 연구 시스템은 단일 챗봇보다 작은 연구소에 가깝다. 다양한 역할은 탐색 공간을 넓히고, 개인 기억은 장기 연구 방향을 유지하며, 적응형 일정 관리는 비용이 큰 실험을 유망한 가설에 집중시킨다.

다만 제공된 자료는 선형 어텐션 아키텍처 탐색에 초점을 맞추고 있으므로, 같은 조직 원리가 모든 과학 분야에 곧바로 적용된다고 단정할 수는 없다. 에이전트의 가설을 검증하는 방법, 공유된 오류가 반복 확산되는 것을 막는 방법, 연구자와 실험 수가 늘어날 때 배분을 안정적으로 유지하는 방법은 추가로 풀어야 할 문제다.

AI가 단순한 아이디어 생성에서 지속적인 발견으로 나아가려면, 기반 모델의 성능뿐 아니라 연구자를 어떻게 구성하고 기억시키며 실험 자원을 배분하는지도 중요한 기반이 될 것이다.

출처: Hugging Face Daily Papers