AI 에이전트가 직접 작성한 연산자, FlashMLA보다 9.8% 빨라져

22.5시간 동안 진행된 공개 실험은 AI 에이전트의 역할이 코드 작성 보조를 넘어 저수준 시스템 성능 최적화로 확장될 수 있음을 보여준다.

퀀텀비트 보도에 따르면 면벽지능의 연산자 생성 시스템 ForgeKernel은 NVIDIA B200에서 DeepSeek의 FlashMLA Prefill 연산자를 최적화했다. 에이전트가 받은 정보는 연산자의 수학적 정의와 대상 하드웨어의 제약뿐이었으며, DeepSeek의 원본 소스코드는 참고하지 않았다. 인간 엔지니어가 구현 코드를 직접 작성하지 않은 상태에서 최종 버전은 472마이크로초에 실행됐다. 비교 대상은 518마이크로초로, 보도된 성능 향상 폭은 9.8%다.

실험에서 일어난 일

FlashMLA는 어텐션 계산의 핵심 연산자이므로, 이 부분의 개선은 모델 추론 효율에 영향을 줄 수 있다. ForgeKernel은 코드를 한 번 생성하고 끝내지 않고 생성, 컴파일, 정확성 검사, 성능 측정을 반복했다.

• 처음 정확성 검사를 통과한 버전의 실행 시간은 1834마이크로초였다.
• 4시간이 지나기 전에 593마이크로초까지 줄였다.
• 먼저 자신의 이전 버전을 넘어선 뒤 FlashMLA를 추월했다.
• 총 42회 반복하고 32개 버전을 남겼으며, B200 한 대에서 22 GPU 시간을 사용했다.

보도에 따르면 후반부 에이전트는 Q 로딩과 KV 데이터 이동이 메모리 대역폭을 놓고 경쟁한다는 점을 발견했다. 이후 요청 발생 속도를 조절해 실행 시간을 추가로 2.4% 낮췄다. 이와 같은 판단은 기존에는 특정 GPU와 메모리 시스템을 잘 아는 성능 엔지니어가 담당하던 영역이다.

단순한 코드 생성과 다른 점

ForgeKernel의 핵심은 언어 모델에 CUDA 코드를 작성시키는 데 있지 않다. 아키텍처 탐색과 구현을 분리하고, 문제를 여러 마일스톤으로 나눈다. 실제 측정으로 확인한 하드웨어 경험은 지식베이스에 저장하며, 현재 가장 좋은 버전을 다음 최적화 라운드의 경쟁 대상으로 삼는다.

이는 목표만 제공하는 최적화 방식의 한계를 보완하려는 접근이다. 모델은 세부 조정에는 강하지만 초기에 전체 구조를 고정한 뒤 좋지 않은 방향을 계속 미세 조정할 수 있다. 단계별 목표와 자기 비교를 활용하면 다른 설계 경로를 탐색할 기회를 늘릴 수 있다.

소재가 인용한 논문에 따르면 B200에서 시험한 10개 연산자 중 8개에서 목표 기반 방식이 인간이 유지해 온 오픈소스 라이브러리를 앞섰다. 또 29개 비교 항목에서 ForgeKernel은 24개 항목에서 전문가 구현과 동등하거나 더 나은 결과를 냈다고 한다. 다만 이 수치는 프로젝트 발표와 보도에 기반한 것이므로, 상세한 실험 조건과 재현성은 추가 검증이 필요하다.

다른 칩으로 확장될 가능성

ForgeKernel은 어센드 950DT, 950PR, A3 등 세 종류의 하드웨어 벤치마크에서도 1위를 기록한 것으로 보도됐다. CUDA와 어센드는 구현 방식과 도구체인이 다르지만, 상위 수준의 최적화 절차는 공유하고 각 플랫폼의 프로파일링 도구를 통해 하드웨어 특성을 학습한다.

이 방식이 안정적으로 이전된다면 새로운 칩이 출시된 뒤 실용적인 연산자 라이브러리를 확보하기까지 걸리는 시간을 줄일 수 있다. 코드 생성, 컴파일, 테스트가 자동화될수록 특정 모델이나 칩에 맞춘 전용 연산자의 비용도 낮아진다.

그렇다고 인간 전문가가 사라지는 것은 아니다. 목표를 정하고 평가 환경을 구성하며 정확성과 성능을 검토하고 결과를 선별하는 일은 여전히 사람의 몫이다. 바뀌는 것은 역할의 중심이다. 전문가가 모든 저수준 코드를 직접 다듬는 대신, AI가 탐색하고 검증할 수 있는 시스템을 설계하게 된다.

오픈소스 공개 이후 커뮤니티가 이 결과를 재현할 수 있다면, 연산자 최적화는 재귀적 자기진화가 실제 엔지니어링에 적용되는 초기 사례가 될 수 있다. AI는 소프트웨어를 사용하는 단계를 넘어 AI를 위한 더 빠른 소프트웨어를 만드는 과정에도 참여하고 있다.

출처: 퀀텀비트