Player-1: 합성 경험으로 게임 에이전트를 훈련하다

들어가며

화면을 해석하고 키보드와 마우스를 조작하는 컴퓨터 사용 에이전트는 빠르게 발전하고 있습니다. 하지만 게임은 훨씬 까다로운 시험장입니다. 화면이 계속 변하고, 입력을 일정 시간 유지해야 하며, 정밀한 포인터 이동과 여러 행동의 조합이 필요한 경우가 많기 때문입니다. Player-1은 게임 에이전트를 대규모 시연 데이터의 모방에만 묶어두지 않고, 확장 가능한 합성 경험을 통해 제어 능력을 학습시키려는 방법입니다.

핵심 구성

Player-1은 기존 컴퓨터 사용 모델을 출발점으로 삼는 사후학습 파이프라인입니다. 주요 요소는 다음과 같습니다.

• 확장된 행동 공간. 일반적인 키보드·마우스 명령에 상대적 포인터 이동, 지속 입력, 복합 행동을 추가했습니다. 단일 클릭이나 한 번의 키 입력만으로 표현하기 어려운 연속 이동과 동시 조작을 모델링하기 위한 설계입니다.
• 시연 기반 초기화. 연구진은 6,044개의 선별된 게임 플레이 궤적을 활용해 모델을 지도 미세조정했습니다. 각 궤적은 작업 지시, 실제 기록된 행동, 시각적 추론 정보를 연결합니다. 이 단계의 목적은 모든 게임 상태를 덮는 것이 아니라, 관찰과 기본 조작 능력을 형성하는 것입니다.
• 합성 환경에서의 강화학습. Player-1-Gym은 여러 게임에 공통적인 제어 난제를 중심으로 설계된 16개의 2D·3D 환경으로 구성됩니다. 보상은 프로그램으로 검증할 수 있고, 관측과 제어 동역학은 무작위화됩니다. 모델은 PPO를 사용해 여러 환경에서 학습합니다.

성능과 해석

MineDojo-300에서 Player-1-9B와 Player-1-35B-A3B는 각각 자신들의 SFT 정책보다 27.8%포인트와 17.7%포인트 높은 성능을 보였습니다. Player-1-9B의 성공률은 38.33%로, 평가된 가장 강한 기준선의 12.63%보다 높았습니다. ViZDoom-10과 GameWorld에서도 SFT 대비 추가적인 개선이 보고됐습니다.

이 결과의 의미는 특정 게임의 점수 상승에만 있지 않습니다. 게임은 시각적 이해, 행동 실행, 결과에 따른 다음 판단을 하나의 폐쇄 루프에서 시험할 수 있는 환경입니다. 합성 환경을 이용하면 실제 게임에서 모든 상호작용 데이터를 수집하는 부담을 줄이고, 보상과 상태를 반복적으로 검증할 수 있습니다. 관측과 제어 방식을 무작위화하는 방식은 특정 화면 구성이나 고정된 입력 패턴에만 의존하는 문제를 완화하는 데도 도움이 될 수 있습니다.

다만 합성 환경이 상용 게임의 복잡성과 다양성을 모두 재현한다고 보기는 어렵습니다. 벤치마크의 개선이 더 개방적이고 장기적인 게임 플레이로 안정적으로 이전되는지도 추가 검증이 필요합니다. 따라서 Player-1의 핵심 기여는 게임 제어를 완전히 해결했다는 주장보다, 시연 학습과 시행착오 학습을 연결하는 실용적인 훈련 경로를 제시했다는 데 있습니다.

출처: Hugging Face Daily Papers