FM-Bench, AI 에이전트의 20년 축구 구단 운영 능력 평가

들어가며

언어 모델은 범위가 정해진 작업을 수행하는 데 점점 안정적인 모습을 보이고 있다. 하지만 현재의 선택이 몇 년 뒤 자금, 선수단, 경쟁 환경에 누적된 영향을 주는 상황에서도 일관된 판단을 이어갈 수 있을지는 별개의 문제다. FM-Bench(Football Management Benchmark)는 축구 구단을 20년 동안 운영하게 하며 이 장기 의사결정 능력을 측정한다.

장기 운영을 평가하는 방식

에이전트는 26개 도구를 사용해 게임 내 20년, 약 340~400개의 의사결정 지점을 통과한다. 모든 경쟁 구단과 같은 예산으로 선수단을 구성하고, 선수를 사고팔며, 계약을 협상하고, 시설과 유소년 육성에 투자하고, 선발 라인업을 정해야 한다. 성과가 나쁘면 해임할 수 있는 이사회에도 대응해야 한다. 시즌별 결과는 결정론적 게임 엔진에 누적돼 최종 점수로 환산되며, LLM 심판이나 인간 채점자는 사용하지 않는다.

평가는 두 트랙으로 진행된다. Solo에서는 15개 프런티어 모델이 각각 고정된 스크립트 세계에서 경쟁한다. Arena에서는 같은 모델들과 스크립트 기반 기준 에이전트가 하나의 공유 세계에서 20년간 맞붙는다. 연구진은 최종 점수뿐 아니라 그 점수를 만들어낸 여섯 가지 행동 역량도 함께 분석했다.

주요 결과

• 세 개의 시드에서 15개 모델은 모두 전체 기간을 완료했다. 반면 맹목적으로 작동하는 스크립트 기준선은 대부분의 실행에서 중도 실패했다.
• claude-fable-5는 Solo 평균 점수와 Arena 성적에서 앞섰지만, Arena의 우승 모델은 10개 모델 사이에서 번갈아 나타났다.
• 모델 규모, 가격, 공급업체는 순위를 예측하지 못했다. 모델 간 차이는 장기 시뮬레이션 후반부에야 뚜렷해졌다.
• 고득점 모델은 종료가 가까워질수록 회수까지 오래 걸리는 투자를 줄이고, 현금을 놀리지 않으며, 계약 갱신을 마감보다 훨씬 일찍 시작하는 경향을 보였다.
• 수백 번의 입찰 거절을 겪고도 숨겨진 시장 가격을 안정적으로 추론하지 못했다.
• 메모리 관리에서는 기록을 계속 쌓기만 하는 방식과 매 시즌 계획을 새로 덮어쓰는 방식이라는 서로 반대되는 실패가 나타났다.

의미와 한계

FM-Bench의 핵심은 에이전트 평가를 단일 작업의 성공 여부에서 장기 피드백 루프 관리 능력으로 확장했다는 점이다. 한 시즌에는 합리적으로 보이는 결정이 미래 예산을 압박하거나 선수단의 연속성을 떨어뜨릴 수 있다. 수백 번의 결정을 이어가는 환경에서는 계획 유지, 자원 배분, 타이밍 판단, 상태 기억의 약점이 최종 성과에 직접 반영된다.

물론 이 축구 시뮬레이션이 현실의 조직 운영을 그대로 대표하는 것은 아니다. 평가 결과는 특정 규칙, 도구 인터페이스, 결정론적 엔진에 의존하며, 여기서 얻은 전략이 다른 영역으로 곧바로 이전된다고 보기도 어렵다. 그럼에도 장기 목표를 유지하고, 피드백에 맞춰 계획을 수정하며, 먼 미래의 결과까지 고려하는지를 평가해야 한다는 점을 분명히 보여준다. AI 에이전트의 다음 경쟁력은 단발성 답변의 정확도뿐 아니라 지속적인 운영 능력에 달려 있을 수 있다.

출처: Hugging Face Daily Papers