CCTest · Blog
Agora: 인터넷에 흩어진 GPU로 대형 언어모델을 사전학습하다
오픈소스
cctest.ai
Agora: 인터넷에 흩어진 GPU로 대형 언어모델을 사전학습하다
Agora는 대형 언어모델 사전학습이 반드시 폐쇄적인 데이터센터에 묶여 있어야 하는지에 도전한다. 이 시스템은 이기종 인터넷 연결 GPU를 모델 샤딩, 파이프라인 병렬화, 장애 허용 집합 연산으로 묶는다.
더 보기Agora는 대형 언어모델 사전학습이 반드시 폐쇄적인 데이터센터에 묶여 있어야 하는지에 도전한다. 이 시스템은 이기종 인터넷 연결 GPU를 모델 샤딩, 파이프라인 병렬화, 장애 허용 집합 연산으로 묶는다.
더 보기Mira Murati가 설립한 Thinking Machines Lab이 첫 자체 오픈웨이트 모델 Inkling을 내놨다. 이 모델은 범용 챗봇 경쟁보다 기업이 직접 조정하고 소유할 수 있는 AI 기반을 겨냥한다.
더 보기