월드 모델은 새로운 게임 규칙을 몇 번 보고 배울까

들어가며

월드 모델의 역할은 다음 화면을 그럴듯하게 예측하는 데 그치지 않는다. 어떤 행동이 환경의 어느 부분을 어떻게 바꾸는지 예측할 수 있어야 에이전트가 실제로 행동하기 전에 결과를 상상하고 계획할 수 있다. 하지만 낯선 환경에서는 사전학습 과정에서 얻은 규칙이 그대로 적용되지 않을 수 있다. 에이전트는 제한된 상호작용을 통해 새로운 게임의 작동 방식을 다시 배워야 한다.

이번 연구는 이 적응 과정을 구체적인 질문으로 바꿨다. 월드 모델이 새로운 메커니즘의 결과를 안정적으로 예측하려면 그 메커니즘을 몇 번 관찰해야 할까? 연구진은 메커니즘이 한 번 나타나는 것을 하나의 ‘노출’로 정의해 학습 속도를 측정 가능한 값으로 만들었다.

메커니즘 단위 평가

실험에는 프로그램으로 정의된 인터랙티브 게임 벤치마크인 ARC-AGI-3가 사용됐다. 게임의 상태 전이가 프로그램에 명시돼 있어 행동과 환경 변화의 관계를 분석하기에 적합하다. 연구진은 20개 게임의 프로그램에서 반복적으로 나타나는 69개 메커니즘을 추출했다.

이어 MechEval을 설계했다. 다음 프레임 전체가 얼마나 비슷한지를 평가하는 대신, 각 노출에서 해당 메커니즘이 바꾼 셀에 초점을 맞춘다. 이 방식은 모델이 규칙을 이해했는지뿐 아니라, 관찰이 반복될수록 예측이 얼마나 빠르게 좋아지는지도 보여준다.

테스트 시점에 파라미터를 업데이트하는 WARC

평가 모델인 WARC는 3,500만 개 파라미터를 가진 비전 트랜스포머다. 다른 게임에서 사전학습한 뒤, 보지 못한 게임에 들어가면 각 상태 전이가 끝날 때마다 전체 파라미터를 업데이트한다. 즉, 고정된 사전 지식만 사용하는 대신 실제 플레이 과정에서 들어오는 데이터를 이용해 적응한다.

미학습 게임에서 WARC는 5개 중 4개 메커니즘을, 해당 메커니즘이 변화시킨 셀 기준으로 최소 80% 정확도까지 학습했다. 또한 기록이 끝날 때까지 이 수준을 유지했다. 메커니즘의 절반은 한 번의 플레이에서 약 80회의 노출만으로 기준에 도달했다. 반면 파라미터를 업데이트하지 않았을 때 같은 기준을 달성한 메커니즘은 7개 중 1개에 불과했다.

예측에서 행동으로

연구진은 WARC를 고정 그래프 탐색기와 결합해 WARC-Agent를 만들고 폐루프 플레이도 평가했다. 에이전트는 전이를 관찰하고 모델을 업데이트한 뒤, 새 예측을 다음 탐색에 반영한다.

공개 게임에서 탐색기만 사용했을 때의 공식 효율 점수는 0.15였지만, WARC-Agent는 0.46을 기록했다. 보고된 향상의 대부분은 테스트 시점 학습에서 나왔다. 숨겨진 게임으로 구성된 Kaggle 리더보드에서는 해당 제출물이 0.20점을 얻었다.

의미와 한계

이 연구의 핵심은 월드 모델의 적응 능력을 단순히 ‘일반화가 되는가’로 묻지 않고, 새로운 규칙을 ‘몇 번의 유의미한 관찰 뒤에 배우는가’로 세분화했다는 점이다. 노출 횟수, 메커니즘별 정확도, 학습 곡선을 함께 보면 모델이 환경을 익히는 속도를 더 정밀하게 비교할 수 있다.

결과는 사전학습이 전부가 아니라는 점도 보여준다. 적절한 상호작용과 온라인 업데이트가 있으면 월드 모델은 테스트 중에도 새로운 환경에 대한 내부 예측을 형성할 수 있다. 다만 근거는 ARC-AGI-3의 프로그램 기반 게임에 한정된다. 이를 개방형 현실 환경이나 물리적 세계에서의 빠른 학습 능력으로 곧바로 확대해석해서는 안 된다. 앞으로는 더 복잡한 메커니즘과 연속적인 상태 변화, 탐색 전략과 온라인 업데이트의 상호작용을 검증해야 한다.

출처: Hugging Face Daily Papers