‘Slay the Spire’로 장기 전략을 시험한 SpireBench, 후반부에 드러난 AI의 한계

들어가며

대규모 언어 모델은 도구를 사용하고, 과제를 나누고, 여러 행동을 연속해서 수행할 수 있다. 그러나 행동을 이어가는 능력과 긴 시간축에서 좋은 전략을 선택하는 능력은 다르다. SpireBench는 이 차이를 살펴보기 위해 상용 덱 빌딩 게임 ‘Slay the Spire’의 전체 게임을 에이전트에게 제공한다. 지도 경로, 카드, 유물, 전투, 휴식 사이의 선택이 연결되며, 초반 판단의 결과가 한참 뒤에 나타나는 환경이다.

핵심 내용

• 고립된 에피소드가 아닌 게임 전체를 평가한다. 개별 전투나 단순화된 턴만 다루지 않고 원작의 전체 진행을 사용한다. 연구진은 최고 난도에서 20개 언어 모델을 휴리스틱 기준선과 인간 성과에 비교했다.
• 초반에는 강하지만 후반에 약해진다. 가장 강한 모델은 첫 번째 막의 승리 성과에서 전문가와 비슷했고, 휴리스틱 방식보다 뛰어나며 평균 플레이어와도 대체로 비슷했다. 하지만 실행이 길어질수록 전문가와의 격차가 확대됐다.
• 전투 단위의 플레이가 중요한 차이를 만든다. 강한 모델과 약한 모델을 가르는 요소는 경로 선택만이 아니다. 각 전투에서 피해, 자원, 위험을 어떻게 처리하는지가 중요하다. 모델은 국소적인 목표를 이해하면서도 이를 일관된 장기 전략으로 묶는 데 어려움을 보였다.
• 안전성을 지나치게 선호한다. 모델은 체력을 일부 소모해 더 강한 덱을 만들 수 있는 상황에서도 체력을 보존하는 경향을 보였다. 당장의 손실은 줄이지만, 이후 전투에서 전력이 부족해질 수 있는 선택이다.
• 기억이 자동으로 학습을 만들지는 않는다. 게임 용어를 전면적이고 일관되게 바꾸자 성과가 달라졌으며, 기존 게임 지식이 판단에 영향을 준다는 점이 나타났다. 그러나 모델이 실행 사이에 작성한 기억은 자주 틀리거나 지나치게 보수적이었고, 안정적인 성능 향상으로 이어지지 않았다.

의미와 영향

SpireBench의 의미는 단순히 게임 하나를 새로운 벤치마크로 추가했다는 데 있지 않다. 지식, 즉각적인 추론, 위험 평가, 자원 관리, 운의 영향을 하나의 긴 의사결정 과정에 함께 놓고 에이전트가 어디에서 실패하는지 살펴볼 수 있다는 데 있다. 한 번의 전투 실수인지, 나중에 비용이 커지는 초반 선택인지도 구분할 수 있다.

이 결과는 짧고 독립적인 과제가 에이전트의 전략 능력을 과대평가할 수 있음을 보여준다. 그럴듯한 설명을 생성한다고 해서 지연된 결과를 관리할 수 있는 것은 아니다. 보수적인 경로 선택은 여러 턴 동안 합리적으로 보이다가 뒤늦게 전략적 대가를 드러낼 수 있다. 따라서 향후 평가는 최종 승률 외에도 단계별 성공률, 전투 중 결정, 실행 사이에 전달된 경험의 실제 효과를 기록할 필요가 있다.

장기 에이전트 능력을 높이는 일은 모델 규모나 컨텍스트 길이를 늘리는 것만으로 해결되지 않을 수 있다. 위험과 보상의 균형을 조정하고, 전투 경험을 재사용 가능한 전략으로 일반화하며, 잘못된 기억을 걸러내는 장치가 필요하다. SpireBench는 이러한 한계를 분석할 수 있는 아직 포화되지 않은 평가 공간을 제시한다.

출처: arXiv