Learn2Play Bench, 낯선 게임에서 LLM 에이전트의 학습 능력을 검증하다

도입

익숙한 문제를 잘 푸는 언어 모델이 낯선 환경에서 경험을 통해 학습할 수 있다는 뜻은 아니다. 기존 평가의 일부는 규칙을 지시문에 명시하거나, 사전학습 과정에서 모델이 이미 접했을 법한 과제를 사용한다. 이 경우 높은 점수가 기존 지식, 일반적인 추론, 실제 상호작용 학습 중 무엇에서 비롯됐는지 구분하기 어렵다.

Learn2Play Bench는 바로 이 문제를 겨냥한다. 싱가포르국립대학교 연구진이 제안한 이 벤치마크는 새롭게 설계된 텍스트 기반 게임으로 구성된다. 게임 규칙은 새롭거나 직관에 반하도록 만들어져 있어, 에이전트는 행동을 선택하고 결과를 관찰한 뒤 다음 시도에서 전략을 수정해야 한다.

무엇을 평가하나

Learn2Play Bench의 주요 특징은 다음과 같다.

• 반복 시도: 동일한 환경에서 여러 번 플레이하게 하여 경험 축적에 따라 성능이 향상되는지 확인한다.
• 재현 가능한 피드백: 게임의 응답을 통제하고 자동 채점을 사용해 비교의 일관성을 높인다.
• 변형 인스턴스: 게임 상황을 바꾸어 학습한 지식이 새로운 사례에도 적용되는지 살펴본다.
• 시스템 수준 비교: 기반 모델뿐 아니라 자기 진화 방식과 에이전트 하네스도 평가한다.

이 구조에서는 첫 시도의 정답률보다 이후의 변화가 중요하다. 처음에는 낮은 점수를 얻더라도 피드백을 활용해 행동을 개선한다면 학습이 일어났다고 볼 수 있다. 반대로 초기 추론 성능이 좋은 모델도 경험을 안정적으로 활용하지 못할 수 있다.

세 가지 핵심 관찰

첫째는 경험을 보존하는 방식이다. 연구 결과에 따르면 과거의 행동과 피드백을 완전한 기록으로 유지하는 방식이 경험을 규칙이나 전략으로 요약하는 것보다 효과적일 수 있다. 요약은 컨텍스트를 줄여주지만, 실패가 발생한 순서와 당시 상황, 나중에 중요해질 수 있는 세부 정보를 제거할 수 있다. 따라서 메모리 시스템은 단순히 짧게 만드는 것보다 향후 의사결정에 필요한 정보를 남기는 데 초점을 맞춰야 한다.

둘째는 인간과 에이전트 사이의 격차다. 평가된 에이전트보다 상위권 인간 플레이어가 더 높은 최고 점수를 기록했다. 인간은 더 다양한 전략을 시도했고, 같은 행동을 반복하는 경우도 적었다. 이는 피드백을 이해하는 능력만으로는 충분하지 않다는 점을 보여준다. 낯선 규칙에 적응하려면 다음에 어떤 행동을 시험할지 효율적으로 선택하는 탐색 능력도 필요하다.

셋째는 하네스의 영향력이다. 기반 모델을 고정한 상태에서도 기록을 정리하는 방식, 피드백을 처리하는 절차, 행동을 선택하는 흐름을 바꾸면 성능이 향상되고 추정 추론 비용이 낮아질 수 있다. 에이전트의 능력은 모델 자체의 가중치만으로 결정되지 않으며, 모델 주변의 실행 워크플로도 시스템 성능의 일부라는 의미다.

의미와 한계

Learn2Play Bench는 학습 곡선, 메모리 정책, 탐색 전략, 지식 전이를 비교할 수 있는 통제된 환경을 제공한다. 이미 알고 있는 규칙을 적용하는 능력이 아니라 시행착오의 질을 관찰할 수 있다는 점에서, 에이전트 평가의 범위를 넓힌다.

다만 텍스트 게임은 현실 세계의 복잡성과 불확실성을 모두 재현하지 못한다. 앞으로는 불완전한 정보, 계속 변하는 목표, 탐색에 따르는 실제 비용을 포함한 평가가 필요하다. 그럼에도 실무적인 시사점은 분명하다. 에이전트를 개선하기 위해 반드시 더 큰 모델만 필요한 것은 아니며, 경험 기록 방식과 탐색 전략, 실행 하네스를 함께 설계해야 한다.

출처: Hugging Face Daily Papers