Infrathon, AI 에이전트의 장시간 인프라 최적화 능력 평가

들어가며

AI 에이전트가 짧은 코딩 문제를 해결하는 것과 실제 AI 인프라를 지속적으로 개선하는 것은 전혀 다른 능력을 요구합니다. 추론 서비스, 캐시 압축, 시스템 튜닝과 같은 작업에서 에이전트는 변경 사항을 제안하는 데 그치지 않고 실험을 실행하고, 결과를 검증하며, 실패를 바탕으로 다음 시도를 조정해야 합니다. Infrathon은 바로 이런 장기적인 최적화 과정을 측정하기 위해 설계됐습니다.

핵심 결과

• 실제 인프라 최적화 작업을 다룬다. Infrathon은 여러 수준의 다양한 AI 인프라 과제를 포함합니다. 한 번에 정답을 생성하는 것이 아니라, 반복적인 실험을 통해 측정 가능한 개선을 찾는 것이 목표입니다.
• 평가 시간이 순위를 바꾼다. 연구진은 6개 모델을 150회 실행했으며, 각 실행에는 최대 24시간, 전체에는 1만 GPU시간 이상을 투입했습니다. 평가를 얼마나 오래 진행하느냐에 따라 모델의 상대적 순위가 달라졌습니다.
• 후반에도 개선이 이어진다. 150회 중 135회에서 예산의 후반부에 추가 개선이 나타났습니다. 초기 결과만으로 중단하면 탐색과 준비 이후에 나타나는 성과를 놓칠 수 있다는 뜻입니다.
• 인간 기준을 뛰어넘을 가능성이 있다. KV-cache 압축 과제에서 Claude Opus 5.5는 인간이 설계한 Quant-VideoGen 코덱의 평균 압축률 6.82%를 19.86%로 높였습니다. 장시간 탐색이 기존 설계에 포함되지 않은 구성도 발견할 수 있음을 보여줍니다.

의미와 과제

Infrathon의 가장 큰 의미는 에이전트 평가 방식에 대한 문제 제기입니다. 많은 벤치마크는 빠른 완료를 보상하지만, 인프라 최적화에서는 구현 세부 사항, 하드웨어 동작, 측정 품질, 성능 간의 절충이 결과를 좌우합니다. 짧은 테스트는 에이전트가 최종적으로 얼마나 개선할 수 있는지보다 얼마나 빨리 작업을 시작하는지만 측정할 위험이 있습니다.

그렇다고 실행 시간을 늘리면 자동으로 성능이 좋아지는 것은 아닙니다. 에이전트 궤적 분석에서는 작업 제약 위반, 신뢰하기 어려운 테스트, 너무 이른 완료 선언이 지속적인 개선을 막는 요인으로 나타났습니다. 앞으로의 인프라 에이전트에는 강력한 코드 생성 능력뿐 아니라 제약 준수, 재현 가능한 실험 설계, noisy한 지표의 해석, 탐색 지속 여부를 판단하는 능력이 필요합니다.

실무팀은 에이전트 기반 최적화를 도입할 때 충분히 긴 평가 예산과 재현 가능한 측정, 전체 실행 기록을 함께 관리해야 합니다. Infrathon은 에이전트를 “작업을 끝낼 수 있는가”가 아니라 “제약 안에서 시스템을 계속 책임 있게 개선할 수 있는가”라는 관점에서 평가해야 한다는 방향을 제시합니다.

출처: Hugging Face Daily Papers