몇 개의 시작 토큰이 기반 모델의 추론을 깨우는 이유

들어가며

대규모 언어 모델의 추론 능력은 보통 더 큰 규모, 사고 과정을 유도하는 프롬프트, 강화학습으로 설명된다. 그러나 MIT 연구진의 이번 논문은 더 미세한 요인에 주목한다. 모델이 추론에 가까운 생성 경로로 들어갈지는 응답 시작 부분의 몇 개 토큰에 의해 달라질 수 있다는 것이다.

연구진은 이를 토큰 큐(token cue) 라고 부른다. 토큰 큐는 반드시 의미 있는 명령어일 필요가 없다. 훈련 데이터에서 특정 시작 표현이 상세한 풀이, 코드 설명, 구조화된 답변과 자주 함께 등장하면, 모델은 그 표현을 이후 행동과 연결해 학습할 수 있다.

핵심 결과

• 시작 구문만 고정해도 성능이 크게 달라진다. MATH-500에서 Olmo-3-7B가 “.\n\nOkay”로 답변을 시작하도록 하면 pass@1 정확도가 42%에서 78%로 올라간다. Qwen3-14B는 “Alright,”를 사용할 때 72%에서 87%로 상승했다. 기반 모델과 RL 모델의 차이가 전부 새로운 추론 능력에서 비롯된 것은 아닐 수 있음을 보여준다.
• 강화학습은 효과적인 큐의 선택 확률을 높인다. RL은 답변의 품질뿐 아니라 추론과 연결된 시작 표현을 생성하는 빈도도 바꾼다. 반대로 해당 표현을 미리 고정하면 기반 모델에서도 RL이 가져온 향상의 상당 부분을 회복할 수 있다.
• 효과의 근원은 훈련 데이터다. 연구진은 인과적 데이터 개입을 통해 “chicken”처럼 평범한 단어를 효과적인 추론 큐로 만들거나, 기존 큐의 효과를 제거했다. 중요한 것은 단어 자체의 사전적 의미가 아니라 특정 문서 유형 및 후속 텍스트와 맺은 학습상의 연관성이다.
• 이상한 지시도 학습으로 기능할 수 있다. 데이터 편집을 거치면 “Think duck duck goose”가 “Think step by step”과 비슷하게 추론을 유도할 수 있다. 널리 쓰이는 추론 프롬프트의 효과 역시 표현 자체의 논리성뿐 아니라 훈련 분포에 의해 강화될 가능성이 있다.
• 안전 행동도 시작 토큰에 민감하다. 큐가 달라지면 거부와 요청 순응 패턴도 달라진다. 이러한 차이는 훈련 데이터의 문서 유형과 연결되어 있어, 토큰 큐는 능력 평가뿐 아니라 안전성 분석에도 중요하다.

의미와 영향

이 연구는 기반 모델과 추론 모델의 차이를 바라보는 새로운 관점을 제시한다. 기반 모델이 긴 문제 해결 과정을 생성할 잠재력을 이미 갖고 있어도, 기본 생성 경로가 그 방향으로 이어지지 않을 수 있다. 강화학습의 역할 가운데 하나는 모든 능력을 처음부터 만드는 것이 아니라, 유용한 생성 경로에 더 쉽게 진입하도록 만드는 것일 수 있다.

모델 개발자는 기본 출력만 비교할 것이 아니라 다양한 응답 접두사를 사용한 테스트도 고려해야 한다. 프롬프트 엔지니어링 측면에서는 효과적인 시작 구문이 저비용 개선 수단이 될 수 있지만, 이를 견고한 이해 능력과 동일시해서는 안 된다. 효과가 모델과 과제에 따라 달라질 가능성도 있기 때문이다.

안전성 측면의 시사점도 크다. 의미가 거의 없어 보이는 작은 토큰이 거부와 순응을 바꾼다면, 평가 과정에서 이러한 경로를 별도로 점검해야 한다. 앞으로의 훈련은 모델이 무엇을 학습하는지뿐 아니라 어떤 텍스트 패턴이 추론, 거부, 실행 행동을 활성화하는지도 관리해야 할 것이다.

출처: Hugging Face Daily Papers