아티클 목록으로

LightningMoBA, 동적 라우팅으로 희소 어텐션 가속

약 3분 소요

긴 컨텍스트 추론의 비용은 처리하는 토큰 수뿐 아니라 어텐션이 관련 없는 내용을 얼마나 건너뛰는지에도 좌우된다. Mixture of Block Attention(MoBA)은 쿼리마다 필요한 KV 블록을 선택해 연산량을 줄이며, FlashMoBA는 이를 GPU에서 효율적으로 실행하도록 개선했다. 그러나 고정 Top-k는 점수 분포가 다른 쿼리에도 같은 선택 예산을 적용한다. 쿼리 범위를 기준으로 작업을 나누면 여러 작업이 같은 KV 블록을 반복해서 읽을 수도 있다.

LightningMoBA는 라우팅 규칙만 바꾸는 대신, 블록 선택과 GPU 실행 방식을 함께 설계해 이 문제를 다룬다.

세 가지 핵심 설계

  • 점수 임계값 기반 동적 라우팅: 모든 쿼리가 고정된 개수의 블록을 선택하는 대신, 블록 점수가 임계값을 넘는지를 기준으로 유지 대상을 정한다. 따라서 쿼리별로 선택 개수가 달라진다. 희소 메타데이터는 점수 계산 중 직접 생성되며, 정렬된 Top-k 후보 목록을 유지하거나 별도의 인덱서를 학습할 필요가 없다.
  • KV 중심 작업 할당: 어텐션 헤드 안에서 같은 KV 블록에 접근하는 쿼리 행을 묶는다. 작업이 한 번 로드한 K/V 타일을 재사용할 수 있다. 특정 블록에 접근이 몰리면 작업을 여러 개의 제한된 단위로 나눠 작업당 부담을 조절한다.
  • 파이프라인 실행: Hopper GPU에서 규칙적인 K/V 전송과 불규칙한 쿼리 수집을 Tensor Core 연산과 겹쳐 실행해 대기 시간을 줄이는 방식이다.

이 설계는 쿼리별로 얼마나 보존할지와 GPU가 작업을 어떻게 나눌지를 분리한다. 라우팅은 필요한 블록을 정하고, 실행 단계는 데이터 재사용과 작업량 제한을 중심으로 처리한다.

평가 결과와 의미

다섯 개 체크포인트와 4K128K 컨텍스트 길이에서 RULER 전체 테스트를 수행한 실험은 평균 보존 예산을 Top-16에 맞췄다. FlashMoBA와 비교해 LightningMoBA는 엔드투엔드 생성 속도를 1.201.60배 높였고, RULER 평균 점수는 74.42에서 75.28로 상승했다. 라우팅 효과와 실행 백엔드의 개선을 구분하기 위해 동일한 최적화 백엔드에서도 두 라우팅 방식을 비교했다. 두 모델의 여섯 구성에서 Top-64 동적 라우팅은 1.161.56배 속도 향상과 0.855.95%포인트의 RULER 점수 상승을 기록했다.

학습 실험은 Qwen3-4B, 128K 컨텍스트, 100스텝 조건에서 진행됐다. 두 라우팅 방식은 최적화된 순방향 구현과 조정된 역방향 구현을 함께 사용했다. 동적 라우팅은 Top-32와 Top-64에서 각각 1.23배, 1.60배의 엔드투엔드 학습 속도 향상을 보였으며, 교차 엔트로피는 두 방식 간 비슷한 수준을 유지했다.

이 연구가 강조하는 점은 희소 어텐션의 성능이 연산을 줄이는 것만으로 결정되지 않는다는 사실이다. 인덱스 생성, 메모리 재사용, GPU 스케줄링을 함께 최적화해야 한다. 다만 보고된 수치는 평가된 구성의 결과이며, 모든 실제 서빙 부하에서 같은 성능을 보장하지는 않는다. 배치 동작이나 테일 지연 시간 같은 운영 지표는 별도로 검증할 필요가 있다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물