4B 모델이 체스를 두고 설명한다: Queen의 구조와 성과

들어가며

기존 체스 엔진은 매우 강한 수를 선택하지만, 사람이 이해할 수 있는 언어로 “왜 이 수인가”를 설명하는 데에는 한계가 있다. 평가값과 주요 변화를 보여줄 수는 있어도, 해당 수가 어떤 계획과 전략적 비교를 바탕으로 나왔는지 자연스럽게 정리해 주지는 않는다. 반면 언어 모델은 유창한 해설을 만들 수 있지만, 실제 체스 실력이 낮다면 그 설명의 활용도 역시 제한된다. 논문 《Language Models that Play Chess and Explain Their Moves》는 두 능력을 결합한 체스 언어 모델 Queen을 제안한다.

핵심 구조

Queen은 40억 개 파라미터로 구성된 모델이며, 인코더-디코더 구조를 사용한다. 체스 인코더는 보드 포지션에 담긴 정보를 내부 표현으로 추출하는 “말없는 전문가” 역할을 한다. 여기에 지시 튜닝된 언어 모델을 연결하고, 교차 어텐션을 통해 전문가 인코더의 표현을 읽게 한다. 언어 모델은 이를 바탕으로 수, 계획, 포지션의 체스 개념을 자연어로 표현한다.

첫 번째 학습 단계에는 질의응답 커리큘럼이 사용된다. 목표는 단순히 정답 수를 복사하는 것이 아니라, 인코더의 표현에서 체스 개념을 뽑아 설명하는 능력을 언어 모델에 가르치는 것이다. 이를 통해 체스 의사결정에 사용되는 정보와 사람이 사용하는 설명 언어 사이에 연결을 만든다. 제공된 초록에는 질문의 구체적인 형태와 데이터 구성은 나와 있지 않으므로, 이를 정해진 해설 문장을 주입하는 방식이라기보다 전문 표현과 자연어를 정렬하는 학습 절차로 이해하는 편이 타당하다.

반복 증류는 어떻게 작동하나

Queen의 두 번째 특징은 후보 수를 비교한 결과를 설명에 반영하고, 그 설명을 다시 모델에 학습시키는 반복 증류 과정이다. 모델은 먼저 상위 후보 수를 검토한 다음, 각 수 이후에 도달할 포지션을 분석한다. 이후 이러한 비교를 현재 포지션의 의사결정에 대한 설명으로 통합하고, 그 결과를 모델에 다시 증류한다.

연구진은 이 과정을 자연어 형태의 Bellman 업데이트에 비유한다. 미래 상태에 대한 분석을 현재 상태의 설명으로 모으고, 그 정보를 다음 학습 단계에 활용한다는 의미다. 논문 초록에 따르면 7회의 반복 이후 모델의 레이팅은 1782 Elo에서 2697 Elo로 높아졌으며, 향상 폭은 900점을 넘는다. 또한 비교 대상이 된 프런티어 모델보다 체스 실력과 퍼즐 정확도에서 크게 앞섰다고 보고한다.

결과의 의미

Queen의 설명은 언어 모델 기반 평가에서 유창성을 보였고, 일관성은 GPT-5.6-Sol의 “높음” 평가에 가까운 수준으로 제시됐다. 40억 개 파라미터로 전형적인 그랜드마스터 수준의 플레이를 지향한다는 점도 논문의 주요 주장이다. 다만 제공된 자료에는 전체 비교 모델, 대국 시간 설정, 퍼즐 벤치마크, 인간 평가 절차가 구체적으로 포함되어 있지 않다. 따라서 2697이라는 수치를 모든 대국 환경에서의 보편적인 실력으로 해석하기보다는, 논문이 제시한 평가 설정 안에서의 결과로 보는 것이 안전하다.

더 넓게 보면 이 연구는 전문적 판단 시스템과 언어 인터페이스를 연결하는 방법을 제시한다. 이미 강력하지만 설명 기능이 없는 인코더가 존재하는 영역이라면, 교차 어텐션으로 그 표현을 언어 모델에 전달하고 반복 증류로 판단과 설명의 관계를 개선할 수 있다. 저자들은 게임 외에도 로보틱스와 컴퓨터 사용을 잠재적 적용 분야로 언급한다.

동시에 유창한 설명이 실제 의사결정 과정을 충실히 반영한다는 보장은 없다. 향후에는 모델의 언어적 해설이 인코더가 실제로 사용한 정보와 일치하는지, 다양한 포지션과 프롬프트에서도 안정적인지 검증해야 한다. Queen은 전문 지식을 설명 가능한 언어 출력으로 바꾸는 유망한 설계 사례지만, 완전히 검증 가능한 설명 시스템이 되기까지는 추가 연구가 필요하다.

출처: Hugging Face Daily Papers