LLM 토큰은 같은 비용이 아니다: SIMPLE이 밝힌 KV Cache의 에너지 비용

생성형 AI 서비스는 보통 토큰 단위로 과금되지만, 모든 토큰이 같은 비용으로 처리되는 것은 아니다. 생성 과정에서 새 토큰은 KV Cache에 추가되고, 이후 디코딩 단계는 점점 커지는 이력을 계속 읽어야 한다. 따라서 토큰의 형태가 비슷해도 한 시퀀스 안에서 뒤쪽 토큰일수록 계산과 메모리 접근 비용이 커질 수 있다.

모델 구조를 반영한 에너지 추정

논문 “The SIMPLE Law for Energy Cost of LLM Inference”는 배포 후 측정에 의존하지 않고 모델 구조와 시퀀스 길이만으로 추론 에너지를 추정할 수 있는지 살핀다. 연구진은 계산 복잡도와 메모리 접근 복잡도를 분석해 MHA와 GQA를 모두 다루는 식을 만들었고, 이를 바탕으로 LLM 에너지를 예측하는 4개 파라미터 모델인 SIMPLE을 제시했다.

SIMPLE은 추론 비용을 입력을 처리하는 프리필, 자동회귀 디코딩 중 KV Cache를 읽는 비용, 다음 토큰을 계산하는 비용으로 나눈다. 입력 변수에는 히든 차원, 레이어 수, 쿼리 헤드 수, KV 헤드 수, 입력 토큰 수와 출력 토큰 수가 포함된다. 특정 LLM마다 계수를 다시 맞추는 경험식과 달리, 구조적 차이가 에너지에 미치는 영향을 설명할 수 있다는 점이 핵심이다.

주요 결과

• NVIDIA H100에서 6개 모델 계열의 밀집 모델 13개를 평가한 결과, SIMPLE은 R2 0.969와 MAPE 11.97%를 기록했다. 논문이 비교한 기존 최고 수준 모델보다 오차가 약 3.1~3.5배 낮았으며, 모델별 보정 없이 사용됐다.
• 프리필 에너지는 히든 차원에 대해 제곱에 가깝게 증가한다. 긴 프롬프트를 처리할 때 대형 모델이 더 큰 에너지 부담을 지는 이유다.
• GQA는 KV 헤드 수를 줄여 캐시 관련 작업을 감소시킨다. 더 공격적인 KV 그룹화는 표준 MHA와 비교해 토큰당 에너지를 최대 약 3분의 1로 낮췄다.
• 추론 토큰 예산을 늘리는 것이 항상 효율적인 것은 아니다. 출력이 길어질수록 KV Cache도 커지며, 분석적으로 얻은 최소 에너지 지점을 넘으면 에너지가 초선형적으로 증가한다. 정확도가 계속 상승하더라도 줄당 지능은 중간 수준의 예산에서 정점에 도달한다.

서빙 설계에 주는 의미

이 연구는 추론 에너지를 배포 후 확인하는 운영 지표에서, 배포 전에 비교할 수 있는 설계 지표로 확장한다. 모델 제공자는 모델과 컨텍스트 길이별 비용을 비교할 수 있고, 애플리케이션 개발자는 최대 출력 길이와 추론 예산을 조정할 수 있다. 특히 긴 컨텍스트 작업에서는 연산 처리량뿐 아니라 KV Cache 용량, 메모리 대역폭, 접근 횟수도 함께 최적화해야 한다.

다만 검증 범위는 자료에 제시된 13개 밀집 모델과 H100 GPU에 한정된다. 양자화, 배치 전략, 커널 구현, 다른 가속기를 사용하면 실제 결과가 달라질 수 있다. 따라서 SIMPLE은 실측을 대체하는 만능 전력계라기보다, 모델 구조와 워크로드를 비교하는 아키텍처 수준의 추정 도구로 보는 것이 타당하다.

출처: Hugging Face Daily Papers