DoubtLess: 작은 모델로 대형 추론 모델의 생각을 줄이다

들어가며

추론 모델은 긴 사고 사슬을 생성하며 복잡한 문제를 해결합니다. 하지만 정답에 도달한 뒤에도 이미 수행한 계산을 다시 확인하거나 결론을 반복해서 검증하는 경우가 있습니다. 이 과정은 정확도를 높이지 않을 수 있지만 추가 토큰과 추론 비용을 발생시킵니다. DoubtLess는 이런 불필요한 후반부 사고를 별도 학습 없이 줄이는 방법을 제안합니다.

작동 방식

DoubtLess는 학습이 필요 없는 대조 디코딩 방식입니다. 대형 추론 모델이 지금까지 생성한 사고 사슬을 훨씬 작은 추론 모델이 읽고, 다음 토큰을 두 가지 조건에서 예측합니다.

• 더 간결하게 생각하라는 지시를 받은 ‘brief thinker’
• 더 자세하고 장황하게 생각하라는 지시를 받은 ‘verbose thinker’

두 예측의 logits 차이를 조정 가능한 강도로 스케일링한 뒤, 매 추론 단계에서 대형 모델의 logits에 더합니다. 고정된 길이에서 강제로 멈추거나 ‘wait’ 같은 단어를 금지하는 방식과 달리, 현재 문맥에 따라 생성 방향을 동적으로 조절하는 것이 핵심입니다. 소재에 따르면 작은 모델을 실행하는 추가 계산량은 전체 FLOPs의 약 4%입니다.

보고된 결과

Qwen3-0.6B로 Qwen3-32B를 유도한 실험에서 DoubtLess는 경쟁 수학, 대학원 수준 과학 문제, 경쟁 프로그래밍을 포함한 7개 벤치마크의 사고 토큰을 31% 줄였습니다. 보고된 정확도는 변하지 않았으며, 5개의 추론 시점 기준선보다 좋은 결과를 보였습니다.

자기 디버깅 코딩 에이전트에서는 턴당 사고 토큰을 20% 줄이면서 과제 성능을 유지했습니다. 다른 두 모델 계열에서도 보고된 정확도 변화 없이 일반화되었고, 이미 간결한 추론을 학습한 모델과 결합했을 때는 추가적인 사고 사슬 단축도 가능했습니다.

행동 분석은 토큰 절감이 주로 정답이 처음 등장한 이후의 반복 확인에서 발생한다는 점을 보여줍니다. 따라서 필요한 핵심 추론을 일괄적으로 삭제하기보다는, 답이 사실상 정해진 뒤 이어지는 중복 검사를 억제하는 접근에 가깝습니다.

의미와 한계

DoubtLess의 실용적인 장점은 대형 모델의 파라미터를 수정하거나 모델별 압축 학습을 새로 진행하지 않고도 추론 효율을 높일 수 있다는 점입니다. 작은 모델을 대형 모델의 행동 제어기로 활용하면 기존 추론 시스템의 제공 비용을 낮출 가능성이 있습니다.

다만 실제 효과는 보조 모델과 대상 모델의 조합, 유도 강도, 추가 예측으로 인한 지연에 따라 달라질 수 있습니다. 완전하고 감사 가능한 사고 과정을 요구하는 환경에서는 사고 사슬 단축이 모니터링 가능성에 미치는 영향도 따로 평가해야 합니다.

DoubtLess가 보여주는 방향은 단순한 조기 종료가 아닙니다. 모델이 정답에 도달한 뒤에도 계속되는 중복 검증을 찾아 줄임으로써, 정확도를 유지하면서 추론을 더 효율적으로 만들려는 접근입니다.

출처: Hugging Face Daily Papers