EdgeKernelBench, LLM의 엣지 커널 생성 성능을 검증하다

들어가며

대규모 언어 모델은 서버 GPU에서 높은 성능의 계산 커널을 생성할 수 있음을 보여왔다. 그러나 엣지 환경은 하드웨어가 훨씬 다양하고, 컴파일러와 런타임 스택이 분산되어 있으며, 메모리·전력·연산 자원도 제한적이다. 이 문제를 다루기 위해 연구진은 이기종 엣지 백엔드 전반에서 LLM 기반 커널 생성을 평가하는 EdgeKernelBench를 제안했다. 또한 계층형 중간 표현으로 최적화를 구성하는 **Layered Edge Kernel Agent（LEKA）**도 소개했다.

핵심 내용

• 통합 IR로 여러 백엔드를 연결한다. 재사용 가능한 계산, 스케줄링, 메모리 관련 결정을 하나의 중간 표현에 담고, 컴파일러 인터페이스를 통해 각 대상 백엔드와 연결한다. 기준 컴파일러 구현에는 TVM을 사용했다.
• 작업 규모를 단계적으로 넓힌다. 평가 범위는 개별 연산자에서 소형 모델 그래프까지 확장되며, 대표적인 엣지 애플리케이션 영역을 포함한다. 이를 통해 국소적인 코드 생성 능력이 전체 워크로드 최적화로 이어지는지 살펴볼 수 있다.
• 정확성과 속도는 별개다. 단 한 번의 생성에서 최상의 모델은 Correct@1 64.5%를 기록했지만 Fast@1.0은 25.5%였다. 즉, 기능 검증을 통과한 커널이 목표 장치에서 충분한 성능 향상을 제공한다고 볼 수는 없다.
• LEKA는 최적화를 계층화한다. 코드를 한 번에 출력한 뒤 반복 수정하는 대신, 계층형 IR에 담긴 계산과 스케줄링 결정을 단계적으로 개선한다. 에이전트 평가 하위 집합에서 Fast@1.0은 43.5%로, 직접 생성의 13.0%와 Claude Code의 26.1%보다 높았다. LEKA와 Claude Code는 같은 기반 모델과 최적화 예산을 사용했다.

의미와 영향

EdgeKernelBench의 중요한 점은 엣지 커널 생성을 특정 장치에 대한 개별 사례가 아니라 비교 가능한 평가 문제로 정리했다는 데 있다. 통합 IR은 백엔드별 표현 차이를 줄이고, 계층형 벤치마크는 연산자 수준과 모델 수준의 작업을 같은 틀에서 비교하게 한다. 또한 커널 생성 모델을 평가할 때 컴파일 성공이나 기능적 정확성만 볼 것이 아니라, 실제 목표 하드웨어에서 측정한 성능을 함께 확인해야 한다는 점을 분명히 한다.

LEKA의 결과는 에이전트가 단순히 소스 코드를 반복 수정하는 것보다 스케줄링, 메모리 이동, 백엔드 제약을 구조적으로 다루는 편이 유리할 수 있음을 시사한다. 실제 결과는 하드웨어와 컴파일러 환경에 따라 달라질 수 있지만, 이번 연구는 엣지용 커널 생성 시스템을 일관되게 비교하고 개선하기 위한 출발점을 제공한다.

출처: Hugging Face Daily Papers