Daedalus-150M, CPU 추론을 거꾸로 설계한 합성곱·어텐션 모델

들어가며

소형 언어 모델은 대형 모델과 같은 Transformer 구조를 유지한 채 크기만 줄이고, 학습이 끝난 뒤 양자화나 런타임 최적화로 CPU에 올리는 경우가 많습니다. Daedalus-150M은 이 순서를 뒤집었습니다. 한 명의 사용자가 한 번에 한 토큰씩 생성하고, 4비트 가중치를 일반 CPU에서 실행한다는 조건을 먼저 정한 뒤 그에 맞는 구조를 설계했습니다. 목표는 파라미터 수만 줄이는 것이 아니라, 긴 문맥을 생성할 때 계속 커지는 KV 캐시를 반복해서 읽는 부담을 낮추는 데 있습니다.

어텐션을 선택적으로 사용

약 1억 6천만 개 파라미터와 18개 블록으로 구성된 Daedalus-150M에서 전체 어텐션을 쓰는 블록은 6개뿐입니다. 나머지 12개는 짧은 깊이별 합성곱으로 대체했습니다. 이 합성곱이 유지하는 순환 상태는 두 시점 너비에 불과하므로 대화가 길어져도 확장되는 KV 캐시를 계속 참조하지 않습니다. 전역적인 관계 파악은 어텐션이 담당하고, 국소적이고 연속적인 처리의 일부는 합성곱이 맡는 방식입니다.

이 설계의 핵심은 문맥 길이에 따른 속도 변화입니다. 문맥이 비어 있을 때는 혼합 모델과 전체 어텐션 모델의 속도 차이가 거의 없습니다. 그러나 문맥이 길어질수록 혼합 모델의 이점이 커집니다. 이는 캐시 접근 비용이 병목이 된다는 구조적 설명과 맞으며, 단순히 모델이 더 작아서 얻는 효과와는 구별됩니다.

학습 결과와 통제된 비교

모델은 599억 토큰으로 처음부터 학습됐습니다. HellaSwag, ARC-Easy, PIQA, OpenBookQA, WinoGrande의 5개 과제에서 47.31점을 기록해 학습 전에 정한 42.20 기준을 넘었습니다. GPT-2 124M, Pythia-160M, OPT-125M, GPT-Neo-125M도 앞섰으며, 이 비교 모델들은 약 3~6배 많은 데이터로 학습됐습니다. 검증 bits-per-byte는 0.8685였습니다.

구조 자체의 영향을 확인하기 위해 같은 규모의 전체 어텐션 모델도 같은 데이터와 조건으로 학습했습니다. 어느 모델이 이길지 판단하는 기준은 두 모델의 평가 전에 정해졌습니다. 혼합 모델은 선택된 품질 지표에서 0.81% 앞섰고, 다운스트림 과제에서는 동률이었으며, 4비트 파일 크기는 6.3% 작았습니다. 문맥 2048토큰에서 디코딩 속도는 비교 모델의 1.76배, 외부의 비슷한 규모 모델과 비교하면 2.08배였습니다. 대역폭만으로 계산한 예상치는 1.17배였으므로, 단순한 데이터 이동량 감소만으로는 전체 차이를 설명하기 어렵습니다.

한계와 남은 질문

연구진은 실패한 시도도 공개했습니다. 양자화 인식 학습 초기에는 4비트 변환으로 인한 품질 손실이 완화되지 않았고, 합성곱 채널의 약 절반이 비활성 상태가 됐습니다. 하지만 기본 런타임의 shape 검사 때문에 이를 쉽게 가지치기할 수 없었습니다. 모델 규모에 비해 지나치게 큰 어휘도 적절하지 않은 선택으로 나타났습니다.

실제 배포 관점에서는 공개된 자료에 특정 CPU 모델, 배치 크기, 절대 지연 시간, 토큰/초 수치가 없다는 점이 중요합니다. 상대적인 배속은 구조의 경향을 보여주지만, 사용자가 기존 시스템을 교체할지 판단하려면 특정 노트북이나 서버 코어와 런타임 설정에서의 측정이 필요합니다.

의미

Daedalus-150M은 추론 제약을 모델 압축의 마지막 단계가 아니라 아키텍처 설계의 출발점으로 삼을 수 있음을 보여줍니다. 합성곱이 일반적으로 어텐션을 대체할 수 있다는 뜻은 아닙니다. 다만 소형 모델, 스트리밍 생성, 긴 문맥이라는 조건에서는 일률적으로 축소한 Transformer보다 CPU 메모리 접근 특성에 맞는 혼합 구조가 유리할 수 있습니다. 앞으로는 다양한 프로세서와 런타임, 실제 애플리케이션 부하에서 같은 이점이 재현되는지 확인해야 합니다.

출처: Hugging Face Daily Papers