플레이 대신 구축하라: LLM 에이전트가 만든 강력한 전장 AI

들어가며

복잡한 게임을 대규모 언어 모델에 직접 맡기면 여러 문제가 한꺼번에 발생한다. 변화하는 상태를 이해하고, 여러 턴에 걸쳐 계획을 세우며, 무작위성과 숨겨진 정보를 처리하고, 제한된 시간 안에 행동해야 하기 때문이다. 연구 논문 「Build, Don’t Play」는 다른 역할 분담을 제안한다. LLM은 연구자와 엔지니어로서 게임 AI를 구축하고, 실제 플레이는 전용 강화학습 시스템이 담당하는 방식이다.

이 접근을 구현한 시스템이 AutoTavern이다. 대상은 8인 오토배틀러인 하스스톤 전장으로, 무작위 상점과 전투, 숨겨진 정보, 서로 상호작용하는 약 1000장의 카드를 포함한다.

핵심 내용

• 전문화된 연구 에이전트의 협업. AutoTavern은 여러 LLM 에이전트에 연구 업무를 나누고, 결과를 타입이 지정된 연구 메모리에 저장한다. 게임 규칙에 대한 주장은 검증 게이트를 거치며, 해석이 모호한 메커니즘은 인간이 목표와 판단 규칙을 정한다.
• 플레이어보다 먼저 환경을 구축한다. 시스템은 20일 만에 TavernGym을 개발했다. TavernGym은 라이브 게임의 전체 콘텐츠를 충실하게 재현하는 것을 목표로 한 시뮬레이터다. 강화학습의 품질은 훈련 환경의 정확성에 크게 좌우되므로, 상점과 전투의 무작위성, 숨겨진 정보, 카드 간 상호작용을 다루는 일이 핵심이었다.
• 실전 피드백으로 순환 구조를 만든다. AutoTavern은 정책만 수정하지 않는다. 실제 대전 결과를 이용해 시뮬레이터와 상대 모델, 연구 절차까지 개선한다. 실제 게임에 맞춰 조정한 상대와 PPO를 사용해 TavernAgent를 훈련했고, 총 23개 버전을 만들었다.
• 강도와 속도 모두 측정했다. TavernAgent의 평점은 약 6000에서 약 15000으로 상승했다. 제공된 공개 리더보드 비교 기준으로 최근 20경기의 평균 순위는 1.60, 1위 비율은 80%였으며, 서버 상위 10명의 2.34와 59%보다 높았다. 40개 시나리오와 960개 과제로 구성된 TavernBench에서는 플레이 과제 정확도 91%, 판단 시간 약 0.03초를 기록했다.

의미와 한계

이 연구의 핵심은 단순히 게임을 잘하는 에이전트를 얻었다는 데 있지 않다. 규칙 조사, 환경 구현, 상대 생성, 정책 훈련, 평가, 실제 대전을 통한 수정 과정을 하나의 자동화된 연구 루프로 연결했다는 점이 중요하다. LLM은 탐색, 코딩, 검증, 조정에 활용하고, 시간 제약이 큰 순간의 행동 선택은 훈련된 특화 모델에 맡긴다.

논문 제목의 의미도 여기서 드러난다. 게임을 직접 플레이하는 능력과 게임을 잘하는 AI를 구축하는 능력은 다르다. TavernBench에서 프런티어 LLM의 플레이 과제 성능은 최대 63%였고, 일부 모델은 판단에 최대 26초가 필요했다. 반면 실제 턴에서 허용되는 1초 안에 TavernAgent는 90%의 성능을 유지했다고 보고됐다.

다만 이 결과를 일반화할 때는 주의가 필요하다. 실험 대상은 특정 게임이며, 모호한 규칙에는 인간의 개입이 남아 있다. 또한 시뮬레이터와 상대 모델의 보정 품질이 학습 결과에 영향을 준다. 따라서 AutoTavern은 LLM이 모든 현실 연구를 독립적으로 수행했다는 증명이라기보다, AI 시스템 개발 자체를 자동화하는 연구 루프의 유력한 사례로 보는 편이 정확하다.

출처: Hugging Face Daily Papers