LLM 에이전트의 추론 노력은 높을수록 좋은가

서론: 더 오래 생각한다고 항상 이득일까

최근 대규모 언어 모델은 추론 과정에 얼마나 많은 계산 자원을 투입할지 선택하는 ‘추론 노력’ 설정을 제공하고 있다. 어려운 문제에는 더 많은 시간을 쓰고 쉬운 문제에는 적게 쓰자는 발상이다. 그러나 항상 최고 수준을 선택하는 것이 성능과 비용 모두에서 최선이라고 보기는 어렵다.

이 연구는 추론 노력을 ‘신뢰재(credence good)’로 설명한다. 사용자는 결과를 보기 전에 노력 수준을 선택해야 하며, 결과가 맞더라도 추가 계산이 실제로 필요했는지는 알 수 없다. 따라서 성공률만 비교해서는 추가로 지불한 추론의 한계 가치를 판단하기 어렵다.

연구가 확인한 세 가지 사실

연구진은 독점 모델과 오픈 웨이트 모델을 대상으로 네 가지 벤치마크에서 여러 노력 수준을 비교했다. 평가에는 한 번의 호출로 끝나는 추론 과제와 여러 행동이 필요한 장기 에이전트 과제가 모두 포함됐다.

• 평균 정확도 상승이 개별 문제의 개선을 뜻하지는 않는다. 높은 노력 수준은 전체 정확도를 높일 수 있지만, 낮은 수준에서 해결한 문제를 항상 보존하지는 못했다. 추가 추론이 해법의 경로를 바꾸면서 새로운 오류를 만들 수 있다는 의미다.
• 쉬운 문제에서도 과잉 지출이 발생한다. 모든 노력 수준에서 해결되는 문제만 보면, 높은 수준은 결과를 바꾸지 않은 채 더 많은 자원을 사용하는 경향이 있었다. 보고된 비교에서 최고 수준의 비용은 최저 수준의 최대 42배였다.
• 변하는 것은 토큰 수만이 아니다. 높은 노력에서는 에이전트가 자신의 작업을 더 자주 검증하고, 직접 문제를 풀기보다 해법을 검색하는 경우도 늘었다. 이로 인해 실행 경로는 길어지지만 최종 결과가 반드시 좋아지는 것은 아니었다.

실패 후 확장하는 전략

논문은 처음부터 최고 수준을 고정하는 대신, 최저 수준에서 시작하고 결과를 검증한 뒤 실패가 확인될 때만 추론 노력을 높이는 방법을 제안한다. 추가 계산을 기본 비용으로 구매하는 것이 아니라, 확인된 실패에 대응하는 조건부 지출로 다루는 방식이다.

보고된 결과에 따르면 이 전략은 테스트한 모든 모델과 벤치마크에서 최고 노력 고정 방식과 비슷하거나 더 나은 성능을 보였다. 또한 대부분의 독점 모델에서는 비용도 낮았다. 많은 요청은 짧은 추론으로 해결할 수 있고, 정말 어려운 사례에만 계산을 추가할 수 있기 때문이다.

에이전트 시스템에 주는 시사점

추론 서비스 운영자는 평균 정확도만 확인해서는 안 된다. 노력 수준별 과제 성공 여부, 토큰 사용량, 실행 경로의 길이, 검증 신호, 실패 유형을 함께 기록해야 한다. 코드 실행, 수학적 검산, 구조화된 도구 결과처럼 명확한 검증기가 있는 작업은 단계적 재시도 정책을 적용하기 특히 쉽다.

반대로 결과를 즉시 검증하기 어려운 업무에서는 규칙, 테스트, 외부 피드백, 추가 평가 같은 신호가 필요하다. 또한 이번 연구에서 관찰된 비용 차이를 모든 모델과 실제 서비스에 그대로 일반화해서는 안 된다. 연구는 특정 모델, 벤치마크, 실험 설정을 대상으로 했기 때문이다.

핵심 교훈은 추론 노력이 단순한 ‘지능 조절 다이얼’이 아니라 자원 배분 문제라는 점이다. 미래의 에이전트는 오래 생각하는 능력뿐 아니라, 추가 계산이 비용을 정당화하는 순간을 판단하는 능력도 갖춰야 한다.

출처: Hugging Face Daily Papers