Agora: 인터넷에 흩어진 GPU로 대형 언어모델을 사전학습하다

도입

대형 언어모델 학습은 지금까지 대규모 데이터센터의 전유물에 가까웠다. 동일한 가속기, 고속 인터커넥트, 중앙 집중식 오케스트레이션, 전체 시스템을 운영할 수 있는 단일 주체가 필요했기 때문이다. Agora 논문은 이 전제에 정면으로 질문을 던진다. 전 세계에 흩어진 소비자용·전문가용 GPU가 서로 다른 성능과 네트워크 환경을 갖고, 언제든 접속이 끊길 수 있더라도 대규모 사전학습에 활용할 수 있을까.

Agora는 이를 위해 설계된 시스템이다. 데이터센터 내부의 데이터 병렬 또는 모델 병렬 학습과 달리, Agora는 일반 인터넷 링크를 전제로 한 대역폭 효율적 파이프라인 병렬 모델 샤딩과 다자 간 장애 허용 집합 연산을 결합한다. 각 참여자는 모델 전체가 아니라 하나의 단계만 보유한다. 따라서 어떤 단일 참여자도 전체 가중치를 갖지 않는다. 저자들은 이 구조를 “Protocol Learning”이라고 부르며, 공동으로 학습되고 공동으로 소유되는 모델의 가능성으로 설명한다.

핵심 포인트

• 분산된 유휴 연산 자원을 겨냥: Agora는 기존 학습 클러스터에 편입되기 어려운 GPU 풀을 활용하려 한다. 장치 성능, 회선 품질, 가용 시간, 소유자가 모두 달라 표준 분산학습 방식으로 다루기 어렵다.
• 인터넷 환경에 맞춘 모델 분할: 각 노드는 모델의 한 구간만 담당하고 파이프라인으로 협력한다. 이는 고속 내부망에 의존하는 전통적인 병렬 학습과 다른 접근이다.
• 노드 이탈을 전제로 한 설계: 참여자가 학습 중 들어오거나 나갈 수 있기 때문에, 통신 효율적인 병렬화, 비동기 최적화, 장애 허용 시스템 설계가 핵심 요소로 포함된다.
• Pluralis-8B 실험: 논문은 8.6B 파라미터 모델을 FineWeb-Edu 500B 토큰으로 학습한 공개적이고 무허가형 사전학습 실행을 보고한다.
• 보고된 성능 수치: 학습은 40일 동안 진행됐고 330개 기여 노드가 참여했으며, 대부분은 인터넷에 연결된 소비자용 GPU였다. 논문에 따르면 약 170k tokens/s를 유지했고, 풀링된 연산 기준 TFLOP당 4.2 tokens, 중앙집중형 H100 기준선 대비 63% 효율을 달성했으며 중앙집중형 참조 학습과 가까운 수렴을 보였다.

의미와 영향

Agora의 의미는 단순히 8B급 모델을 분산 GPU로 학습했다는 데 그치지 않는다. 더 중요한 점은 오픈소스 AI의 초점을 “누가 가중치를 공개하는가”에서 “누가 학습 과정에 참여할 수 있는가”로 확장한다는 것이다. 현재 많은 공개 모델도 사전학습 자체는 소수 조직의 대규모 인프라에 의존한다. Agora는 기여자가 연산 자원을 제공하고, 프로토콜이 학습을 조정하며, 모델 보유와 소유 구조를 더 분산시키는 대안을 제시한다.

다만 이 결과는 완성된 해답이라기보다 초기의 중요한 시스템 실증으로 보는 것이 적절하다. 인터넷 규모 학습에는 통신 병목, 노드 신뢰성, 기여자 인센티브, 보안, 재현성, 거버넌스, 공동 소유의 실무적 의미 같은 난제가 남아 있다. 더 큰 모델과 더 긴 학습으로 확장했을 때 효율과 안정성을 유지할 수 있는지도 추가 검증이 필요하다.

그럼에도 Agora는 흩어진 유휴 GPU가 실제 AI 인프라의 일부가 될 수 있음을 보여주는 구체적 사례다. 중앙집중형 초대형 클러스터와 다른 방식으로 오픈 프런티어 학습을 실현하려는 중요한 시도라고 볼 수 있다.

출처: arXiv