하이브리드 의사결정 모델, 언제 깊이 생각할지 스스로 판단하다

들어가며

대규모 언어 모델의 추론 비용은 파라미터 수만으로 결정되지 않는다. 모든 요청에 긴 사고 과정을 생성하는지 여부도 지연 시간과 토큰 사용량에 큰 영향을 준다. 쉬운 질문까지 완전한 추론을 거치면 자원이 낭비되고, 반대로 어려운 문제에서 추론을 생략하면 정확도가 떨어질 수 있다. Hugging Face Daily Papers에 소개된 하이브리드 의사결정 모델(Hybrid Decision Model, HDM)은 이 문제를 “추가로 생각할 가치가 있는가”라는 선택 문제로 재구성한다.

추론의 길이가 아니라 추론의 가치 선택

기존의 적응형 추론 방식은 명시적으로 작성되는 사고 과정을 줄이거나, 여러 모드 사이를 전환한다. 그러나 최종 답변은 여전히 토큰 단위로 생성된다. HDM은 “제로 또는 T”라는 다른 접근을 제시한다. 빠른 모드에서는 한 번의 순전파에서 형성된 암묵적 정보를 이용해 바로 답하고, 추가 추론 토큰을 생성하지 않는다. 느린 모드에서는 약 T개의 토큰을 비용으로 완전한 자기회귀 추론을 수행한다.

HDM은 하나의 동결된 백본과 경량 자기 라우팅 블록으로 구성된다. 라우터의 목표는 추론을 몇 토큰 생성할지 정하는 것이 아니라, 빠른 모드와 느린 모드 사이에 어느 정도의 성능 차이가 생길지를 추정하는 것이다. 빠른 처리 과정에서 이미 만들어진 정보를 바탕으로 추가 추론의 기대 효용을 계산하고, 그 값이 요청마다 설정된 가격 λ를 넘을 때만 느린 경로를 실행한다. λ는 품질, 지연 시간, 토큰 예산 사이의 교환 관계를 나타내므로, 같은 모델도 서비스 조건에 맞게 운영할 수 있다.

개별 라벨이 없는 에이전트 학습

일반적인 질의응답 벤치마크에서는 빠른 모드와 느린 모드의 결과를 비교해 라우팅 신호를 만들 수 있다. 하지만 웹 조작 같은 에이전트 작업에서는 각 순간에 “추론했어야 하는가”를 알려주는 라벨이 없다. 전체 에피소드가 끝난 뒤 성공 또는 실패와 같은 결과만 주어지는 경우가 많기 때문이다. 논문은 이를 해결하기 위해 Calibrated Decision Policy Optimisation(CDPO)을 제안한다. 이 방법은 에피소드 수준의 보상을 사용해 라우팅 블록을 강화학습 방식으로 훈련한다.

평가는 MMLU-Pro, AGIEval, GPQA-Diamond, JevBench, BANKING77, MiniWoB에서 진행됐다. JevBench에서 HDM-4B는 0.857점을 기록해 Jev의 0.851을 소폭 앞섰다. 중앙값 지연 시간은 0.179초로, Jev의 0.652초보다 72.5% 낮았다. 상호작용형 MiniWoB에서는 HDM-27B가 토큰 비용을 80.1% 절감했다.

의미와 남은 과제

HDM의 핵심은 사고 과정을 짧게 만드는 데 그치지 않고, 필요하지 않은 사고 자체를 실행하지 않는 것이다. 온라인 추론, 대규모 배치 처리, 도구를 사용하는 에이전트에서는 요청별로 계산 예산을 배분해 비용과 작업 난도를 더 직접적으로 연결할 수 있다.

다만 실제 배포에서는 λ가 바뀌어도 라우터가 안정적으로 작동하는지, 작업 분포가 변할 때 판단이 제대로 보정되는지를 확인해야 한다. 암묵적 사고는 명시적 추론 과정보다 검사하기 어렵다는 점도 고려할 필요가 있다. 그럼에도 HDM은 추론을 무조건 늘리거나 줄이는 대신, 추가 계산의 가치를 예측해 필요한 순간에만 비용을 지불한다는 새로운 최적화 방향을 보여준다.

출처: Hugging Face Daily Papers