PolyRoute, 다국어·코드 혼합 라우팅 성능을 검증하다

들어가며

다국어 모델은 여러 언어를 처리할 수 있다는 이유만으로 실제 서비스에 적합하다고 평가되기 쉽습니다. 그러나 고객지원 메시지에는 로마자 표기, 철자 오류, 영어와 현지 언어의 혼용, 지역별 표현이 함께 나타납니다. 논문 ‘PolyRoute’는 이런 입력을 대상으로 모델이 고정된 분류 결정을 안정적으로 내릴 수 있는지 비교하는 벤치마크를 제안합니다.

무엇을 평가하나

PolyRoute에는 12개 언어와 9개 문자 체계로 작성된 모국어 지원 메시지 322개가 포함됩니다. 여기에 Hinglish, Spanglish, Arabizi 같은 코드 혼합 또는 로마자 표기 메시지 156개가 추가됩니다. 모델의 과제는 텍스트를 한 번의 순전파로 처리해 세 개의 부서 중 적절한 라우팅 대상을 선택하는 것입니다. 감독학습을 적용할 수 있도록 선택적으로 활용 가능한 모국어 학습 행 967개도 제공됩니다.

라벨은 Qwen3.8-27B가 생성한 뒤 블라인드 방식의 두 번째 검토를 거쳤으며, 후보의 91%가 유지됐습니다. 독립 모델인 gemma4-31b는 테스트 항목의 97.2%에서 같은 결과를 냈습니다. 테스트 텍스트와 학습 텍스트 사이의 최대 문자 5-gram 유사도는 0.33으로 보고됐습니다. 이는 평가가 단순한 문장 중복에 크게 의존하지 않았음을 보여주는 참고 지표입니다.

주요 결과

리더보드에서 가장 눈에 띄는 부분은 전통적인 기준선의 성능입니다. 영어 기반 체크포인트는 61.2%, 제공된 다국어 체크포인트는 77.3%, 최고 미세 조정 시스템은 96.6%를 기록했습니다. 그런데 TF-IDF와 로지스틱 회귀를 결합한 간단한 모델도 91.9%에 도달해, 제공된 다국어 인코더보다 높은 점수를 얻었습니다.

언어가 바뀌었을 때의 성능 향상은 균일하지 않았습니다. 학습에 포함되지 않은 네 언어에서 세 다국어 시스템은 각각 77%, 90%, 93%를 기록했습니다. 코드 혼합 텍스트에서는 영어 기반 모델이 85%, 제공된 다국어 체크포인트가 79%였습니다. 하지만 차이의 p값은 0.134였으며, 해당 분할이 안정적으로 구분할 수 있는 차이도 대략 4%포인트 이상입니다. 따라서 영어 모델이 코드 혼합 입력에서 확실히 우월하다고 해석하기는 어렵습니다.

의미와 한계

PolyRoute의 의미는 ‘다국어 지원’이라는 추상적인 설명을 실제 의사결정 문제로 바꿔 평가한다는 데 있습니다. 고객 문의 분류, 콘텐츠 검토 큐, 사내 티켓 배정과 같은 작업에서는 긴 답변을 생성하는 능력보다 언어와 표기 방식이 달라져도 동일한 분류 기준을 유지하는 능력이 중요합니다.

TF-IDF의 높은 점수는 모델 선택에도 현실적인 시사점을 줍니다. 통제된 데이터에서는 특정 단어와 정형 표현만으로도 높은 정확도를 얻을 수 있으므로, 복잡한 다국어 인코더를 도입하기 전에 가벼운 기준선을 먼저 확인해야 합니다. 동시에 미세 조정 시스템이 96.6%를 기록한 결과는 대상 언어에 맞는 학습 예제가 제공될 경우 적응 학습의 효과가 상당할 수 있음을 보여줍니다.

다만 데이터의 출처는 중요한 제약입니다. PolyRoute의 모든 텍스트와 라벨은 LLM이 생성했습니다. 이 방식은 데이터 구성을 통제하기 쉽지만, 실제 상담에 나타나는 오타, 불완전한 맥락, 지역적 표현, 업무상의 잡음을 충분히 재현하지 못할 수 있습니다. 따라서 이 벤치마크는 운영 환경의 최종 정확도를 보장하기보다 모델 비교를 위한 재현 가능한 출발점으로 보는 것이 타당합니다. 향후에는 사람이 작성한 자료나 익명화된 실제 문의로 추가 검증할 필요가 있습니다.

출처: Hugging Face Daily Papers