GameXpert-Bench: 게임 생성에서 실제 개발까지 평가하다

들어가며

자연어 요청만으로 코딩 에이전트가 실행 가능한 게임을 만들게 하는 일은 더 이상 단순한 개념 시연에 머물지 않는다. 그러나 플레이 가능한 프로토타입을 생성하는 것과 숙련된 개발자처럼 게임 개발을 끝까지 수행하는 것은 다르다. 게임은 프로그램 로직, 시각·음향 콘텐츠, 인터페이스, 상호작용, 플레이 가능성, 디버깅과 반복 수정이 하나의 실행 가능한 결과물 안에서 함께 작동해야 한다. Tencent Hunyuan 팀이 제안한 GameXpert-Bench는 이 차이를 측정하기 위한 평가 체계다.

결과물만이 아닌 개발 수명주기

기존 평가 중 상당수는 한 번의 생성 결과나 특정 수정 단계만 확인한다. 하지만 실제 개발에서 에이전트는 먼저 프로젝트를 만들고, 사용자 피드백이나 자체 발견을 바탕으로 문제를 고친 뒤, 이전 기능을 망가뜨리지 않으면서 새로운 요구를 여러 차례 반영해야 한다.

GameXpert-Bench는 이 흐름을 세 가지 트랙으로 나눈다.

• GameGen: 처음부터 생성. 빈 작업공간에서 한 번의 자연어 요청으로 완성된 게임을 만든다. 코드와 콘텐츠, 조작, 플레이성이 함께 작동하는지를 본다.
• GameFix: 진단과 수정. 보고된 결함뿐 아니라 명시적으로 알려지지 않은 문제도 찾아야 한다. 그럴듯한 코드를 추가하는 것이 아니라 실제 원인을 식별하고 해결하는지가 핵심이다.
• GameOpt: 다중 턴 최적화. 사용자와 에이전트의 실제 개발 궤적에서 만든 요청 연쇄를 통해 누적 변경을 평가한다. 새 요구를 반영하면서 기존 동작을 회귀 없이 유지해야 한다.

평가 방식도 정적 코드 분석에만 의존하지 않는다. 라이브 게임 상호작용, 결정적 행동 테스트, 최종 제품 기준과 회귀 검사가 함께 사용된다. 전체 구성은 11개 장르의 생성 과제 97개, 사람이 검증한 50개 레벨에서 만든 수정 과제 100개, 6개 턴과 102개 요청으로 이루어진 최적화 체인 17개를 포함한다.

드러난 능력의 경계

결과는 비교적 분명하다. 현재 에이전트는 플레이 가능한 기반을 만들고, 구체적으로 제시된 요구사항을 구현하는 데는 강하다. 반면 결함을 능동적으로 발견하거나 실제 실행 동작을 검증하고, 여러 차례 수정한 뒤에도 기존 기능을 보존하는 일에서는 신뢰성이 낮아진다.

이는 중요한 차이다. 게임 개발은 텍스트 요구사항을 코드로 옮기는 작업에 그치지 않는다. 기능이 프로젝트에 추가된 것처럼 보여도 조작이 작동하지 않거나, 로직끼리 충돌하거나, 후속 수정으로 이전 기능이 사라질 수 있다. GameXpert-Bench는 제품과 과정을 함께 평가함으로써 한 번의 성공적인 생성만으로는 드러나지 않는 장기적 약점을 포착한다.

의미와 영향

에이전트 연구 측면에서 이 벤치마크는 평가의 초점을 코드 출력에서 실행 가능한 제품과 장기 워크플로로 확장한다. 도구 개발자에게는 런타임 관찰, 테스트 생성, 고장 위치 탐색, 회귀 방지 기능의 중요성을 보여준다. 사용자에게는 에이전트를 빠른 프로토타입 제작을 돕는 협업자로 활용하되, 감독이 전혀 필요 없는 독립 개발자로 간주해서는 아직 안 된다는 점을 시사한다.

더 넓게 보면 게임은 장기적 에이전트 능력을 압축적으로 시험하는 환경이다. 앞으로 강력한 시스템은 코드를 생성하는 데서 그치지 않고 결과를 검증하고, 피드백을 해석하며, 요구사항이 바뀌는 동안 시스템 전체의 일관성을 유지해야 한다.

출처: Hugging Face Daily Papers