PerfReasoning, LLM은 하드웨어 성능을 제대로 추론할 수 있을까

들어가며

하드웨어 설계와 소프트웨어 최적화에서는 성능을 미리 추정하는 모델이 핵심적인 역할을 한다. 작업량과 연산량만으로는 충분하지 않다. 데이터가 얼마나 재사용되는지, 중간 결과가 어느 저장 계층에 머무는지, 연산이 하드웨어에 어떻게 매핑되는지, 데이터가 저장장치와 메모리 사이를 얼마나 이동하는지를 함께 분석해야 한다. PerfReasoning은 대규모 언어 모델이 이런 관계를 추론할 수 있는지, 더 나아가 그 추론을 분석 가능한 성능 모델로 구현할 수 있는지를 평가한다.

핵심 결과

• 두 능력을 따로 측정한다. 모델은 서로 다른 매핑을 비교하고, 오프칩 트래픽과 버퍼 요구량을 예측하는 질문에 답해야 한다. 동시에 분석용 성능 모델 코드도 생성해야 한다. 후자의 경우에는 자연스러운 설명뿐 아니라 수식과 구현의 일관성까지 검증 대상이 된다.
• 직접 추론이 모델 구축보다 쉽다. 추론 중심 질의에서 가장 강력한 폐쇄형 모델은 90%를 넘었고, 최고 성능 오픈웨이트 모델은 82.4%를 기록했다. 그러나 성능 모델 구축으로 넘어가면 GPT-5.6 Sol을 제외한 모든 모델 구성의 평균 통과율이 15% 아래로 떨어졌으며, 실행마다 결과 편차도 컸다.
• 작업 특화 RL은 효과를 보였다. 4B 모델에 특정 작업을 겨냥한 강화학습을 적용하자 매핑 추론 정확도가 15.7포인트 상승했다. 이는 일반적인 언어 능력을 키우는 것보다 하드웨어 분석의 구조에 맞춘 학습이 중요할 수 있음을 시사한다.
• 피드백 없는 자기 수정은 안정적이지 않았다. 모델에게 여러 차례 답변을 스스로 고치도록 해도 성능이 일관되게 좋아지지는 않았다. 표현상의 문제를 찾는 것과 데이터 이동 가정, 경계 조건, 수식을 실제로 검증하는 것은 다른 능력이기 때문이다.

의미와 영향

PerfReasoning의 중요한 기여는 LLM 평가에서 자주 섞이는 ‘설명’과 ‘모델 구축’을 구분했다는 점이다. 모델이 아키텍처에 대해 설득력 있게 말하더라도 생성한 모델이 실행 가능하다는 뜻은 아니다. 다른 매핑이나 경계 조건에서도 결과가 유지된다는 보장도 없다. 실제 성능 분석은 연산, 데이터 재사용, 저장 용량, 이동 비용 사이의 관계를 끝까지 일관되게 유지해야 한다.

칩 설계와 컴파일러 최적화에서 현재의 LLM은 설계 공간을 정리하고 병목을 설명하며 분석 후보를 제안하는 데 활용될 수 있다. 하지만 신뢰할 수 있는 모델을 자동 생성하려면 실행 기반 테스트, 수치 검증, 형식적 점검, 외부 평가에서 얻는 피드백이 필요하다. 이번 결과는 작업 특화 강화학습의 가능성을 보여주는 한편, 검증 신호 없는 프롬프트 반복만으로는 이러한 문제를 해결하기 어렵다는 점도 보여준다.

연구진은 향후 벤치마크를 공개할 계획이다. 공통 평가 환경이 마련되면, 모델이 단지 더 그럴듯하게 설명하는지 아니면 재현 가능한 성능 분석 능력을 실제로 갖추는지 비교하기 쉬워질 것이다.

출처: arXiv