HiSTEVE 1.0, 사람처럼 키보드와 마우스로 마인크래프트를 플레이하다

들어가며

오픈월드 게임에서 사람처럼 행동하는 AI를 만들려면 화면을 이해하고 단일 명령을 실행하는 것만으로는 부족합니다. 에이전트는 지금까지 한 일을 기억하고, 큰 목표를 여러 단계로 나누며, 특정 단계가 실제로 끝났는지 판단해야 합니다. 실행 중 문제가 생기면 실패한 지점에서 복구하거나 계획을 다시 세워야 합니다. Tencent 연구팀의 HiSTEVE 1.0은 이러한 장기 자율성과 실제 인터페이스 제어를 계층형 비전·언어·행동(VLA) 구조로 묶은 시스템입니다.

마인크래프트는 이 문제를 시험하기에 적합한 환경입니다. 세계가 절차적으로 생성되기 때문에 고정된 스크립트만으로는 다양한 상황을 처리하기 어렵고, 인간 플레이어는 화면을 보며 키보드와 마우스로 게임을 조작합니다. HiSTEVE 역시 게임 내부 상태나 환경 API를 직접 읽지 않고, 사람이 사용하는 인터페이스를 통해 행동하도록 설계됐습니다.

핵심 설계

• 능력 인식형 작업 조정. 상위 에이전트 하네스는 구조화된 메모리로 진행 상황을 추적합니다. 비전·언어 모델 기반 플래너는 하위 VLA가 실제로 수행할 수 있는 능력 범위 안에서 하위 작업을 선택합니다. 계획이 컨트롤러의 능력을 앞서가는 문제를 줄이려는 접근입니다.
• 정책과 연결된 완료 판정. 오픈월드 작업에는 명확한 성공 버튼이나 단일 상태값이 없는 경우가 많습니다. HiSTEVE는 VLA 정책의 문맥을 함께 보는 작업 완료 상태 검출기를 사용해, 다음 단계로 이동할지, 실패를 복구할지, 계획을 다시 세울지를 판단합니다.
• 네이티브 인터페이스 제어. 하나의 VLA 정책이 시각 관찰과 키보드·마우스 입력만으로 모든 하위 작업을 실행합니다. 캐릭터 이동과 시점 조절 같은 일반적인 게임 조작뿐 아니라 GUI 상호작용도 처리해야 합니다.
• 상호작용 모드 간 간섭 완화. GUI 조작과 일반 게임 조작은 행동 패턴이 다릅니다. HiSTEVE는 모드별 RMSNorm 분기와 마우스 이동 전용 토큰 임베딩을 도입해 서로 다른 제어 신호가 충돌하는 문제를 줄입니다.
• 단계적 학습. 세계 지식 주입, 모방 학습, 환경 피드백을 활용한 강화학습을 순차적으로 결합합니다. 목표는 단순히 행동 예측 정확도를 높이는 데 그치지 않고, 실행 안정성과 오류 이후의 복구 능력을 강화하는 것입니다.

결과와 의미

논문에 따르면 HiSTEVE는 MineStudio Bench의 원자 작업 평가에서 85.0%를 기록했고, OpenHA에서는 평균 37.4%의 성공률을 보였습니다. 또한 처음부터 철 곡괭이를 제작하는 작업처럼 여러 단계를 이어가는 장기 과제도 수행했습니다. 이는 개별 조작의 안정성과 장시간 이어지는 의사결정 능력을 함께 살펴볼 수 있다는 점에서 의미가 있습니다.

이 연구의 핵심 기여는 계획과 제어를 분리하면서도 실행 결과를 통해 두 계층을 연결한 데 있습니다. 상위 계층은 메모리와 하위 작업 선택, 복구를 맡고, 하위 VLA는 사람이 사용할 수 있는 것과 같은 인터페이스로 행동합니다. 특히 작업 완료 판정이 실행 정책의 문맥을 참고한다는 점은, 추상적인 언어 목표만으로는 실제 작업의 완료 여부를 충분히 알기 어렵다는 점을 보여줍니다.

다만 현재 결과는 마인크래프트와 제시된 벤치마크를 중심으로 합니다. 더 긴 작업에서의 안정성, 다른 환경으로의 전이, 복잡한 실패 상황에서의 복구 능력은 추가 검증이 필요합니다. 그럼에도 HiSTEVE는 특권 API에 의존하지 않고 장기 계획과 실제 인터페이스 조작을 결합하려는 에이전트 연구에 실질적인 설계 방향을 제시합니다.

출처: Hugging Face Daily Papers