FrontierCS 2, AI 에이전트의 컴퓨터과학 연구 역량을 시험하다

들어가며

하나의 프로그래밍 문제를 해결하는 능력과 컴퓨터과학 연구개발을 수행하는 능력은 다르다. 연구개발에는 기존 저장소를 이해하고, 개선 가설을 세우고, 실험을 진행하며, 여러 지표와 워크로드에서 결과의 안정성을 확인하는 과정이 포함된다. FrontierCS 2는 이러한 연속적인 능력을 실제 개발 환경에 가깝게 측정하려는 벤치마크다.

평가 방식

과제는 컴퓨터과학 논문과 저자가 공개한 구현을 기반으로 구성된다. 연구의 핵심 기여를 제거한 뒤, 삭제된 코드를 인간 기준 구현으로 사용한다. 따라서 단순히 새로 만든 사양을 따르는 것이 아니라, 실제 연구 성과에 가까운 목표를 향해 작업하게 된다.

에이전트는 작동 중인 코드 저장소를 물려받아 코드를 살펴보고 실험을 수행한 뒤 원하는 시점에 패치를 제출할 수 있다. 제출할 때마다 개발용 테스트 스위트의 점수를 받지만, 평가기와 최종 테스트 스위트, 기준 구현은 공개되지 않는다. 최종 제출은 숨겨진 평가 환경에서 검증되므로 공개 테스트에만 맞춘 최적화를 줄일 수 있다.

공개된 48개 과제는 머신러닝 시스템, 고성능 컴퓨팅, 데이터베이스, 보안, 로보틱스 등 13개 분야를 포괄한다. 연구진은 앞으로 공개할 비공개 과제도 100개 이상 보유하고 있다.

결과가 보여주는 것

총 12개 에이전트가 평가됐으며, Claude Opus 5.5가 58%의 실행 통과율로 가장 높은 성과를 기록했다. 그러나 이 수치는 광범위한 연구 능력이나 신뢰성을 의미하지 않는다. 16개 과제에서는 어떤 실행도 통과하지 못했기 때문이다. 일부 과제를 해결하는 능력과 새로운 연구 문제를 일관되게 처리하는 능력 사이에는 여전히 큰 간극이 있다.

또한 종합 최종 점수에서 기준 구현을 앞섰다고 해서 반드시 통과하는 것은 아니다. 특정 지표나 워크로드에서 실패하면 전체 과제는 통과하지 못한다. 이 설계는 평균 점수 하나만 높이는 전략이 실제 시스템의 정확성, 성능, 범용성 요구를 충족하지 못할 수 있음을 보여준다.

의미와 영향

FrontierCS 2가 측정하는 대상은 완성된 코드만이 아니다. 무엇을 먼저 조사할지, 어떤 실험을 진행할지, 부분적인 피드백을 어떻게 해석할지, 언제 패치를 제출할지를 결정하는 연구 과정 전체가 평가 대상이다. 이런 점에서 일회성 코드 생성 평가보다 실제 엔지니어링과 연구에 가깝다.

결과는 가능성과 한계를 동시에 드러낸다. 현재 에이전트는 일부 과제에서 인간 기준 수준에 도달할 수 있지만, 능력의 편차가 크고 안정적인 성공률도 충분하지 않다. 공통 능력 척도에서 중간 난도의 과제는 가장 강한 에이전트가 처리할 수 있는 수준과 대략 비슷한 것으로 나타나, 더 어려운 연구를 안정적으로 수행할 여지는 제한적이다.

모델 개발자는 코드 자동완성뿐 아니라 장기 계획, 실험 관리, 디버깅, 다중 목표 최적화를 함께 개선해야 한다. 사용자는 특정 과제의 높은 점수를 독립적인 프런티어 연구 수행 능력의 증거로 확대 해석하지 않는 것이 바람직하다.

출처：Hugging Face Daily Papers