계속 생각하는 것만으로는 부족하다: 작은 추론 모델에 도움을 요청하는 법을 가르친 FlyBy

들어가며

추론 모델의 성능을 높이는 대표적인 방법은 테스트 시 계산량을 늘리는 것이다. 모델에게 더 긴 사고 과정을 생성하게 하면 어려운 문제를 풀 가능성이 높아질 수 있다. 특히 서비스 비용이 낮은 소형 추론 모델에는 매력적인 접근이다. 하지만 KAIST AI의 새로운 연구는 중요한 질문을 던진다. 모델에 필요한 것은 더 많은 시간일까, 아니면 파라미터 안에 없는 지식일까?

연구진은 두 모델 계열과 여러 규모의 모델을 대상으로 중간 추론 상태에 개입했다. 그 결과 자기 성찰은 현재 상태에서 이미 도달 가능한 해답에 확률을 모으는 경우가 많았으며, 새로운 해결 경로를 반드시 만들어내지는 않았다. 이는 긴 추론 자체를 부정하는 것이 아니라, 어떤 실패에 긴 추론이 효과적인지 구분해야 한다는 뜻이다.

두 종류의 병목

논문은 소형 추론 모델의 실패를 두 가지로 나눈다.

• 실행 병목: 정답으로 가는 경로가 모델의 능력 범위 안에 있지만, 추론·검증·단계 선택에서 오류가 발생하는 경우다. 이때는 반성과 자기 수정이 정답 회복에 도움이 될 수 있다.
• 지식 병목: 필요한 사실, 개념, 배경 정보가 모델에 부족한 경우다. 더 많은 토큰을 생성해도 없는 정보가 저절로 생기지는 않는다. 관련 외부 정보가 제공되면 이전에는 접근할 수 없던 경로가 열릴 수 있다.

따라서 두 상황에 같은 계산 전략을 적용할 필요가 없다. 실행 오류라면 내부 추론을 늘리는 것이 적절하지만, 지식 부족이라면 더 강한 모델에 표적 질의를 보내는 편이 효율적일 수 있다.

FlyBy의 작동 방식

연구진은 이 구분을 바탕으로 선택적 질의 프레임워크 FlyBy를 제안했다. 소형 모델은 먼저 스스로 문제를 풀고, 무엇이 해결되지 않았는지 진단한다. 지식 병목이라고 판단하면 자신보다 더 넓은 파라미터 지식을 가진 외부 모델에 질의한다. 반환된 정보는 이후의 자체 추론에 통합된다. 모든 문제에 외부 모델을 호출하는 방식은 피한다.

학습은 두 단계로 구성된다. 먼저 지도 미세 조정을 통해 외부 모델에 도움을 요청하는 깊이를 여러 수준으로 선택하는 질의 행동을 만든다. 이후 비용 인식 강화학습을 적용해 언제 질의할지, 무엇을 물어볼지, 얼마나 비용을 사용할지를 조정한다. 강한 모델을 항상 실행하는 대신, 소형 모델의 능력을 필요할 때만 확장하는 구조다.

결과와 의미

6개 벤치마크의 고난도 문제 1158개에서 FlyBy-4B는 pass@8 45.96%를 기록했다. 이는 Qwen3-14B의 41.64%보다 높았으며, 보고된 서비스 비용은 약 2.7배 낮았다. pass@1에서도 FlyBy-4B는 16.85%로 Qwen3-8B의 15.31%를 앞섰다. FlyBy-8B로 확장하면 pass@8은 51.81%까지 높아졌다.

선택적 질의가 모든 비용을 없애는 것은 아니다. 병목 진단에도 계산이 필요하고, 외부 모델의 응답을 정확히 해석해 추론에 반영해야 한다. 그럼에도 FlyBy는 추론을 무조건 길게 만드는 대신, 실패 원인에 따라 내부 계산과 외부 지식을 배분하는 방법을 보여준다.

비용에 민감한 실제 서비스에서는 이 관점이 특히 중요하다. 앞으로의 추론 최적화는 더 긴 사고 과정을 생성하는 데 그치지 않을 수 있다. 언제 계속 생각하고, 언제 검증하며, 언제 질문하고, 언제 멈출지 판단하는 능력도 핵심이 될 것이다. 소형 모델의 경쟁력은 제한된 내부 능력과 외부 자원을 더 영리하게 운영하는 데서 나올 가능성이 있다.

출처: Hugging Face Daily Papers