Edge0, 개인용 PC를 겨냥한 1450억 매개변수 모델 공개

들어가며

고성능 AI 모델을 개인 기기에서 실행하려면 오랫동안 타협이 필요했다. 모델을 작게 만들면 메모리에 넣기 쉽지만 복잡한 코딩과 추론에서 성능이 떨어질 수 있고, 큰 모델을 클라우드에서 사용하면 비용과 데이터 처리 제약, 네트워크 의존성이 생긴다. Edge0는 단순히 클라우드 모델을 압축하는 대신 모델과 추론 시스템을 처음부터 로컬 실행에 맞춰 설계하는 접근을 제시했다.

핵심 내용

• 노트북에서 실행하는 대형 모델: Edge0는 Edge0-145B가 호환되는 개인용 노트북에서 작동하며 최대 메모리 사용량은 약 29GB라고 보고했다. 프롬프트 처리는 초당 1100토큰 이상, 디코딩은 초당 80토큰 이상, 일반적인 전력 사용량은 약 120W이며 128K~256K 컨텍스트를 지원한다고 설명한다. 실제 수치는 하드웨어와 설정에 따라 달라진다.
• 희소 전문가와 행렬 공유: 전체 매개변수는 1450억 개지만 각 추론 단계에서 계산되는 양은 약 100억 개다. 64개 전문가가 두 개의 대형 행렬을 공유하고, 각 전문가는 차이를 표현하는 소규모 매개변수를 유지한다. 이를 통해 저장하고 이동해야 하는 가중치의 양을 줄인다.
• 메모리와 연산의 파이프라인화: 추론 엔진은 GPU 메모리, 시스템 메모리, SSD를 함께 사용한다. 자주 쓰는 전문가는 GPU에 보관하고 나머지는 필요할 때 불러온다. CPU와 GPU를 병렬로 활용하며, 추측 디코딩으로 가중치 읽기 비용을 여러 출력 토큰에 분산한다.
• 대화 이상의 작업을 목표로 함: 공개된 시나리오에는 코드 계획, 작성, 실행, 디버깅뿐 아니라 3D 장면, 게임, 하드웨어 프로그램, PCB 설계 결과를 시각적으로 점검하는 과정도 포함된다. 단순 응답형 모델보다 여러 단계를 수행하는 로컬 에이전트를 지향하는 셈이다.
• 벤치마크는 제한적으로 해석해야 함: Edge0는 DeepSWE 1.1, GPQA-Diamond, IFBench, Terminal-Bench 2.1, AA-LCR 결과를 공개하고 일부 클라우드 모델과 비교했다. 그러나 비교 대상과 평가 조건이 특정돼 있어, 전반적인 우월성을 의미하지는 않는다.

의미와 과제

보고된 수치가 독립적으로 재현된다면 이번 발표의 핵심은 1450억이라는 규모 자체보다 시스템 설계에 있다. 아키텍처, 학습 방식, 가중치 로딩, 실행 스케줄링을 하나의 로컬 추론 문제로 다뤘기 때문이다. 코드 저장소나 설계 파일을 외부 서비스로 보내기 어려운 사용자에게는 데이터 통제와 오프라인 사용 측면에서 의미가 있을 수 있다.

그렇다고 로컬 실행의 비용이 사라지는 것은 아니다. 사용자는 적합한 하드웨어, 저장 공간, 전력, 설치와 유지보수 비용을 부담해야 한다. 또한 이번 자료는 프로젝트 측 설명과 내부 테스트에 크게 의존한다. 따라서 실제 가치가 확인되려면 커뮤니티의 재현, 다양한 기기에서의 성능 측정, 장시간 작업 안정성 검증이 필요하다. 지원 하드웨어의 범위, 설치 난이도, 라이선스 조건도 채택 여부를 좌우할 요소다.

이번 공개는 온디바이스 AI의 경쟁이 단순한 모델 축소에서 벗어나고 있음을 보여준다. 앞으로는 희소 계산, 여러 메모리 계층, CPU와 GPU를 어떻게 조율해 소비자 기기에서 대형 모델을 지속적으로 실행할지가 중요한 과제가 될 전망이다.

출처: Hacker News