GTAGym: GTA V를 AI 에이전트 평가와 강화학습 환경으로

들어가며

게임에서 에이전트에게 작업을 수행하게 하는 일은 이미지 인식이나 질문 응답보다 훨씬 복잡하다. 에이전트는 자연어 목표를 이해하고, 변화하는 3D 환경을 관찰하며, 키보드와 마우스로 행동하고, 계획이 어긋나면 전략을 수정해야 한다. 작업이 실제로 완료됐는지를 마지막 화면만으로 판단하기도 어렵다. 그래서 기존 게임 벤치마크는 사람의 확인에 의존하는 경우가 많았고, 강화학습에 바로 활용하기도 쉽지 않았다.

OpenMOSS 팀이 제안한 GTAGym은 Grand Theft Auto V를 AI 에이전트 평가와 강화학습을 위한 통합 환경으로 만든다. 단순히 유명한 AAA 게임을 활용한 것이 아니라, 게임 상태와 조작 방식, 결과 판정, 작업 생성을 하나의 반복 가능한 흐름으로 연결한 점이 핵심이다.

핵심 내용

• 다양한 작업을 포함한다. GTAVBench는 GTA V 메인 스토리 미션을 재구성한 온라인 작업 103개를 9개 작업군으로 나눈다. 여기에 게임 이미지를 활용한 사격 및 저격 작업 47개가 추가된다.
• 엔진 상태로 결과를 판정한다. 에이전트는 스크린샷을 보고 키보드와 마우스로 행동한다. 서버는 게임 엔진의 내부 상태를 확인해 목표 달성 여부를 자동으로 판단한다.
• AGI 분기는 장기 상호작용을 시험한다. GTAVBench-AGI에서는 작업 지시가 첫 번째 스크린샷에만 표시된다. 이후 상호작용 기록은 하네스가 자동으로 압축해, 지시 추종뿐 아니라 기억과 지속적인 제어 능력을 평가한다.
• 공간·시간 제어가 취약하다. 6개 프런티어 LLM 가운데 최선의 구성은 AGI 분기에서 70.9%의 전체 정확도를 보였다. 그러나 공중 내비게이션이 가장 어려웠고, 요격과 회피가 그 뒤를 이었다.
• 강화학습용 작업을 확장할 수 있다. 사용자가 지정한 범위와 선택지에 따라 고정 템플릿의 파라미터를 샘플링해 3D 내비게이션 및 이미지 사격 환경을 대량 생성한다. 보상과 종료 신호도 자동으로 제공한다.

실험이 주는 의미

연구진은 생성된 보행 내비게이션 작업을 사용해 Qwen3.8-27B에 LoRA 강화학습을 적용했다. 학습 결과는 동일한 분포의 작업뿐 아니라 분포 밖 작업군에서도 개선됐으며, 기본 GTA V 작업의 성능은 15%에서 23%로 상승했다. 이는 장기 게임 제어가 해결됐다는 뜻은 아니지만, 자동 보상과 작업 생성이 에이전트 학습을 더 체계적으로 만들 수 있음을 보여준다.

GTAGym의 중요한 점은 지각, 추론, 행동, 결과 검증을 하나의 루프에서 측정한다는 데 있다. 정적인 데이터셋과 달리 게임은 상태 변화와 행동의 결과가 연속적으로 발생하는 환경을 제공한다. 자동 종료 조건과 보상은 시연 기반 평가에서 반복적인 대규모 상호작용 학습으로 넘어가기 위한 기반이 될 수 있다.

다만 70.9%라는 종합 점수만으로 모델의 능력을 판단해서는 안 된다. 공중 내비게이션, 회피, 요격에서 드러난 약점은 공간 모델링, 시간적 계획, 실시간 제어가 아직 해결되지 않았음을 보여준다. 앞으로는 작업 템플릿의 확장, 환경 재현성, 보지 못한 복잡한 미션으로의 전이가 GTAGym의 실용성을 좌우할 전망이다.

출처: Hugging Face Daily Papers