화웨이 Memento 3가 세계 모델로 게임 25종을 공략한 방법

들어가며

AI가 낯선 게임을 플레이하려면 다음 행동만 선택해서는 충분하지 않다. 먼저 게임 세계가 어떻게 작동하는지, 어떤 조작이 어떤 결과를 만드는지 파악해야 한다. 화웨이 노아의 방주 연구실과 UCL 등이 개발한 Memento 3는 이 탐색과 실행을 하나의 에이전트 과정으로 묶은 시스템이다.

제공된 연구 자료에 따르면 Memento 3는 ARC-AGI-3 공개 세트에 포함된 25개 게임, 183개 레벨을 모두 통과해 RHAE 100점을 얻었다. 같은 과제를 인간이 수행할 때는 약 17135회의 조작이 필요했지만, Memento 3는 7518회로 끝냈다. 조작 수가 약 56% 적은 셈이다. 이 성과는 전용 모델을 새로 훈련한 결과가 아니라, 탐색한 내용을 실행 가능한 외부 지식으로 축적한 데서 나왔다.

‘코드가 곧 모델’인 구조

Memento 3는 Claude Opus 5를 기반 모델로 사용하지만 가중치를 업데이트하지 않고, 게임별 미세조정도 하지 않는다. 대신 다음 두 가지 산출물을 계속 관리한다.

• 규칙 문서: 확인된 게임 규칙, 목표, 조작의 효과, 아직 풀리지 않은 가설을 기록한다.
• 실행 가능한 세계 모델: 이런 가설을 Python 코드로 옮겨 상태 변화와 조작 결과를 시뮬레이션한다.

실제 게임 화면과 시뮬레이션 결과가 일치하지 않으면 에이전트는 가설을 다시 검토하고 규칙 문서와 코드를 함께 수정한다. 이후 과거 조작을 재현하고 64×64 화면을 비교해 수정이 맞는지 확인한다. 따라서 지식은 단순한 대화 맥락에 머무르지 않고 실행과 검증이 가능한 형태로 저장된다.

한 퍼즐 게임에서 시스템은 특수한 바닥을 밟으면 캐릭터가 들고 있는 도형이 진입 방향에 따라 좌우 반전된다고 처음 판단했다. 하지만 실제 상호작용을 거치며 도형은 진입 방향과 무관하게 시계 방향으로 90도 회전한다는 사실을 확인했고, 문서와 코드를 모두 바꿨다. 기호 해독 게임에서는 이후 레벨이 초기 가정을 뒤집었고, 같은 규칙 문서가 11번 수정됐다. 버전 기록을 사용하면 잘못된 변경을 추적하거나 이전 버전으로 되돌릴 수도 있다.

세 게임을 대상으로 한 비교 실험에서는 규칙 문서를 유지했을 때 총 조작 횟수가 677회에서 617회로 줄었고, 에이전트 실행 라운드도 약 18% 감소했다. wa30에서는 세계 모델을 하나에서 두 개로 늘리자 조작 횟수가 899회에서 597회로 떨어졌다. 다만 이 결과는 현재 하나의 게임에서만 확인됐으므로 일반적인 법칙으로 해석해서는 안 된다.

Pong에서는 모델이 빠져도 됐다

연구팀은 Atari Pong에서도 시스템을 시험했다. Memento 3는 공의 이동과 반사, 패들의 제어 방식을 관찰하면서 처음 세운 반사 모델을 계속 수정했다. 전략이 안정된 뒤에는 매 프레임마다 대규모 언어 모델을 호출하지 않고 코드가 직접 패들을 제어하도록 했다.

서로 다른 세 가지 시작 조건에서 프로그램은 모두 21대0으로 승리했다. 전략을 학습하는 데 사용한 화면은 약 9500프레임이었다. 이 결과는 모델이 모든 순간을 직접 결정하게 하기보다, 규칙 발견과 오류 수정을 맡긴 뒤 검증된 제어 정책을 코드에 넘기는 방식이 더 효율적일 수 있음을 보여준다.

의미와 한계

Memento 3가 보여준 방향은 신경망 내부의 파라미터를 바꾸지 않아도 외부 기억, 실행 가능한 시뮬레이터, 버전 관리가 결합되면 특정 환경 안에서 에이전트를 개선할 수 있다는 것이다. 규칙이 비교적 안정적이고 결과를 확인할 수 있는 업무에서는 반복적인 추론 호출과 행동 비용을 줄일 가능성이 있다.

그러나 이를 현실 세계의 일반적인 자기개선 능력으로 확대해석하기는 이르다. 이번 실험의 게임은 규모가 작고 구조가 비교적 명확하며, 탐색과 코드 생성, 검증에는 여전히 상당한 토큰과 연산 자원이 필요하다. 관측이 불완전하고 규칙이 계속 바뀌며 실패 비용이 큰 환경에서도 같은 신뢰성을 유지할 수 있는지는 앞으로 검증해야 할 과제다.

퀀텀비트