PISA-E, 프롬프트와 비용에 맞춰 LLM 앙상블을 선택하다

배경

대규모 언어 모델을 웹 서비스에 적용할 때는 답변 품질만 높인다고 문제가 해결되지 않습니다. 요청마다 난이도와 요구 수준이 다르기 때문에, 모든 입력에 가장 강력한 모델을 사용하면 불필요한 추론 비용이 발생할 수 있습니다. 반대로 매번 하나의 모델만 선택하면 여러 모델을 함께 사용했을 때 얻을 수 있는 품질 향상을 놓칠 수 있습니다.

기존 라우팅이 주로 다루는 질문은 “이 프롬프트를 어느 모델에 보낼 것인가”입니다. 앙상블 라우팅에서는 여기에 더해 “어떤 모델을 묶을 것인가”와 “몇 개를 호출해야 하는가”까지 결정해야 합니다. 이번 연구는 단일 모델 라우터 PISA와 앙상블 확장판 PISA-E를 제안합니다.

핵심 방식

• 프롬프트별 역량 추정: PISA는 소프트 클러스터 소속 정보와 모델별 예측기를 결합해 특정 프롬프트에서 각 모델이 발휘할 가능성이 있는 성능을 추정합니다. 전체적인 고정 순위보다 입력별 적합성을 중시합니다.
• 품질과 비용의 공동 최적화: PISA-E는 어떤 모델을 포함할지와 앙상블의 크기를 함께 선택합니다. 서비스 운영자는 재학습 없이 추론 시점에 품질 우선 또는 비용 절감 쪽으로 선호도를 바꿀 수 있습니다.
• 앙상블 전용 학습 불필요: 개별 모델의 능력 예측에서 앙상블 성공 가능성을 근사하는 지표를 만들고, 효율적인 후보 선택으로 탐색량을 줄입니다. 가능한 모든 조합마다 별도 예측기를 학습할 필요가 없습니다.
• 분포 변화 평가: 네 개의 LLM 라우팅 벤치마크에서 분포 내(ID)와 분포 외(OOD) 조건을 모두 평가해 일반화 가능성을 살폈습니다.

결과와 영향

단일 모델 라우팅 비교에서 PISA는 ID와 OOD 모두에서 평가된 라우터 가운데 가장 높은 매크로 평균 비용—성능 하이퍼볼륨을 기록했습니다. 이는 단순히 최고 품질만 비교한 것이 아니라 여러 비용 수준에서의 종합적인 균형을 반영합니다.

앙상블 비교에서는 품질을 우선할 때 PISA-E가 평가된 앙상블 방식 중 가장 높은 매크로 평균 작업 성능을 달성했습니다. 가장 강한 경쟁 방식보다 ID에서는 2.09%포인트, OOD에서는 2.87%포인트 높았습니다. 또한 일부 저비용 운용 지점에서는 평균 추론 비용을 ID에서 약 36%, OOD에서 약 25% 줄이면서도 경쟁 앙상블의 작업 성능을 넘어섰습니다.

이 연구의 핵심은 모델 호출 수를 고정하지 않고 요청에 따라 협업 규모를 바꾸는 데 있습니다. 단순한 요청에는 작고 저렴한 조합을 사용하고, 더 어려운 요청에는 추가 모델을 호출하는 식으로 품질과 지출을 조절할 수 있습니다. 다만 제공된 자료에는 벤치마크의 세부 과제, 사용 모델 목록, 지연 시간 분석이 포함되어 있지 않으므로, 수치를 모든 실제 배포 환경에 그대로 적용할 수 있다는 의미로 해석해서는 안 됩니다.

출처: Hugging Face Daily Papers