SWE-Game, 코딩 에이전트의 게임 개발 능력을 검증하다

들어가며

코딩 에이전트가 프로그램을 실행하게 만드는 것과, 설계 의도에 맞고 입력에 제대로 반응하며 실제로 플레이할 수 있는 게임을 만들게 하는 것은 전혀 다른 문제입니다. 게임은 상태 관리, 충돌 처리, 진행 조건, 조작 반응, 피드백, 화면 표현이 함께 작동해야 합니다. 작은 요구사항 누락이나 로직 오류 하나만으로도 완성된 것처럼 보이는 프로젝트가 플레이 과정에서 무너질 수 있습니다.

Hugging Face Daily Papers에 소개된 SWE-Game은 이러한 능력을 폭넓게 측정하기 위한 벤치마크입니다. 코드가 실행되는지만 확인하지 않고, 에이전트가 게임 요구사항을 이해하고 핵심 메커니즘을 구현하며 기존 문제를 수정한 뒤 결과가 제대로 동작한다는 증거를 제시할 수 있는지 평가합니다.

핵심 내용

• 개발 과정 전반을 다룬다. SWE-Game은 실행 가능한 Godot 기준 게임 41개를 기반으로 247개 과제를 구성했습니다. 2D와 3D, 13개 게임플레이 범주를 포함하며, 짧은 설명에서 게임 제작, 게임 디자인 문서에 따른 구현, 코드 골격 완성, 83개 주입 결함 수정, Godot에서 Unity로의 포팅을 평가합니다.
• 동영상 하나에 의존하지 않는다. 공통 계측 인터페이스를 통해 평가자는 게임을 조작하고 프로브로 실행 상태를 관찰할 수 있습니다. 엔진 상태 검사, 인증된 기준 입력 재생, 에이전트가 작성한 기능 시연을 결합해 메커니즘의 정확성, 실제 플레이 가능성, 수정 후 동작의 복원과 보존을 확인합니다.
• 시각적 완성도는 별도로 평가한다. 게임별 비전-언어 평가 기준을 사용해 플레이 메커니즘이 올바른지와 화면 표현이 좋은지를 분리해 측정합니다.
• 안정적인 게임 구축은 아직 어렵다. 6개 모델 중 Opus5가 5가지 과제 유형 모두에서 가장 높은 종합 점수를 기록했습니다. 그러나 3개 구축 과제의 최고 종합 점수는 모두 100점 만점에 60점 미만이었고, Brief-to-Game의 최고 점수는 50.38이었습니다. 제출 결과를 분석한 연구진은 요구사항 누락과 게임플레이 로직 오류가 가장 흔한 문제라고 설명했습니다.
• 실행 시점의 증거가 중요하다. 에이전트가 만든 100개 게임의 사람 라벨 행동을 대상으로, 실행 가능한 검사의 균형 정확도는 92.59%였습니다. 이는 동영상 기반 VLM 심사의 78.41%보다 높습니다. 200개 게임플레이 클립에서는 루브릭 기반 시각 점수와 사람 평가 사이의 Spearman 상관계수가 0.829였습니다.

의미와 영향

SWE-Game의 의미는 게임 개발용 순위표를 하나 더 만든 데 있지 않습니다. 코드 생성을 실제 소프트웨어 행동 검증의 문제로 확장했다는 점이 중요합니다. 게임은 자연어 요구사항이 상호작용을 통해 드러나고, 특정 입력 순서에서만 오류가 나타날 수 있어 에이전트에 까다로운 시험 환경입니다. 소스 코드나 짧은 시연 영상만으로는 이런 문제를 놓치기 쉽습니다.

이번 결과는 현재 에이전트의 한계가 단순히 코드를 작성하는 능력에만 있지 않다는 점도 보여줍니다. 모든 요구사항을 끝까지 추적하고, 서로 연결된 상태와 규칙을 일관되게 조정하는 일이 어렵다는 뜻입니다. 더 신뢰할 수 있는 게임 개발 에이전트라면 테스트를 직접 만들고, 경계 상황을 탐색하며, 수정 과정에서 기존 기능이 손상되지 않았음을 실행 데이터로 확인해야 합니다.

현재로서는 에이전트가 완성 게임을 사람의 검토 없이 납품하기보다는 빠른 프로토타이핑, 개별 기능 구현, 제한적인 버그 수정에 활용되는 편이 현실적입니다. SWE-Game은 재현 가능한 입력, 엔진 수준 검사, 시각 평가를 결합하는 평가 설계가 필요하다는 방향도 제시합니다.

출처: Hugging Face Daily Papers