미호요 붕괴 AI 연구팀이 게임을 장시간 조작하는 에이전트 Gamer 연구를 공개했습니다. 이 모델은 게임 내부 상태나 전용 API에 접근하지 않고, 화면을 관찰해 지시를 이해한 뒤 키보드와 마우스로 행동하는 시각·언어·행동(VLA) 모델입니다. 시연된 8B 파라미터 버전은 Qwen3-VL-8B를 바탕으로 학습됐으며, 붕괴: 스타레일에서 전투, 장치 조작, 캐릭터 따라가기 등의 작업을 수행합니다.
Gamer의 핵심 구성
- 화면과 조작을 함께 학습: 여러 게임의 녹화 영상과 플레이어 조작을 짝지어 공통 키보드·마우스 형식으로 정리합니다. 이를 통해 화면 변화와 행동의 관계를 익힙니다. 실행 중에는 약 200밀리초마다 화면을 읽고 짧은 동작을 계획한 뒤, 다음 화면을 바탕으로 조작을 조정합니다.
- 긴 작업을 위한 기억: 학습 과정은 지속 사전학습, 지도 미세조정, 온라인 강화학습으로 구성됩니다. 미세조정에는 붕괴: 스타레일 시연 약 1,000시간이 사용됐습니다. 모델은 진행 상황, 실패한 시도, 주요 위치와 다음 계획을 요약해 오래된 정보가 문맥에서 사라지는 문제에 대응합니다. 경로가 분명할 때는 바로 행동하고, 실패나 목표 변경이 있을 때 추론을 강화하는 ‘희소 사고’ 방식도 적용했습니다.
- 환경 피드백을 활용한 개선: TA-GRPO는 긴 작업을 기억으로 연결된 구간으로 나누고, 목적지 도달이나 단계 목표 달성 여부 같은 게임 환경의 피드백으로 여러 시도를 비교합니다. 추론 엔진은 이미 처리한 문맥을 재사용하고 검증된 동작을 미리 준비해 응답 지연을 줄입니다.
논문은 붕괴: 스타레일 메인 스토리 5개 챕터, 약 50시간 평가에서 Gamer의 자율 실행 시간 비중이 95%를 넘었다고 보고합니다. 또 7개 미니게임 유형의 미학습 과제 40개에서는 성능이 기본 모델 3.2%에서 지속 사전학습 후 15.0%, 지도 미세조정 후 39.2%, 강화학습 후 49.7%로 올라갔다고 밝혔습니다. 이 수치는 논문이 설정한 평가 과제에서 나온 결과로, 어떤 게임이든 안정적으로 완료한다는 의미는 아닙니다.
의미와 남은 과제
Gamer의 시도는 한 게임에 특화된 조작법을 익히는 데 그치지 않고, 여러 게임의 조작과 계획, 기억, 상호작용을 통한 학습을 하나의 체계로 묶는 데 있습니다. 공통 입력 인터페이스는 게임마다 별도 연결을 구축해야 하는 부담을 줄이고, 게임을 에이전트 학습을 위한 통제된 환경으로 활용할 가능성을 보여줍니다. 연구팀은 자동 테스트, 개발 반복 속도 향상, 새로운 게임플레이 지원 등을 활용처로 제시했습니다. 다만 낯선 상황에서의 안정성과 실제 개발 과정에 적용할 수 있는지는 추가 검증이 필요합니다.
출처: 量子位
댓글
로그인 상태 확인 중…
댓글 불러오는 중…