Duplex-MPE, 언제 말하고 침묵할지 아는 음성 비서 평가

들어가며

여러 사람이 대화하는 공간에서 음성 비서가 해결해야 할 문제는 단순히 질문을 이해하고 답하는 것이 아닙니다. 지금 나온 말이 자신을 향한 요청인지, 대화에 끼어들어도 되는 순간인지 판단해야 합니다. 너무 빨리 말하면 사람들의 대화를 끊고, 지나치게 침묵하면 도움을 주지 못합니다. 듣는 동시에 말할 수 있는 전이중 음성 모델에서는 발화 타이밍을 선택하는 능력이 자연스러운 음성 생성만큼 중요해지고 있습니다.

베이징대학교 연구팀은 이 문제를 측정하기 위해 Duplex-MPE를 제안했습니다. 한 명의 지정 사용자와 대화하는 기존 평가를 넘어, 여러 사람이 공유하는 대화 속에 비서를 배치하고 필요한 때에만 참여할 수 있는지를 পরীক্ষা합니다.

핵심 내용

• 다자간 대화를 평가한다. 세 명 또는 네 명의 사람과 한 명의 비서가 등장하는 2000개 시나리오를 사용합니다. 동일한 요청을 비서에게 명시적으로 말하는 경우와 암묵적으로 표현하는 경우로 짝지었습니다.
• 연속 음성만 제공한다. 모델은 전사문이나 미리 정해진 발화 경계를 받지 않습니다. 누가 말하는지, 요청이 자신을 향하는지, 지금 개입할 적절한 시점인지 직접 추론해야 합니다.
• 네 가지 능력을 분리해 측정한다. 새로운 응답을 시작하는 능력, 답변의 정확성, 말하지 않아야 할 때 침묵을 유지하는 능력, 사람이 요청을 해결한 뒤 발화를 멈추는 능력을 각각 평가합니다.
• 자주 말한다고 좋은 것은 아니다. 연구팀은 MiniCPM-o 4.5, Moshi, FLM-Audio, Voila, Freeze-Omni 등 다섯 개 오픈웨이트 음성 시스템을 비교했습니다. MiniCPM-o 4.5는 네 가지 평가 항목 중 세 가지에서 앞섰습니다. 다른 시스템들은 더 자주 응답하면서도 답변이 부정확하거나 침묵을 유지하지 못하는 모습을 보였습니다.
• 명시성과 암묵성의 차이를 비교했다. 전사문을 사용하는 Gemini 3.1 Pro 참조 시스템은 암묵적 요청보다 명시적 요청에 64.3%포인트 더 자주 응답했습니다. 반면 평가된 음성 시스템에서는 응답률 차이가 통계적으로 유의하지 않았습니다.

의미와 영향

기존 음성 벤치마크는 주로 지정된 사용자와의 턴 교대, 끼어들기 처리, 다중 대화를 평가했습니다. 하지만 여러 사람이 함께 있는 환경에서는 그보다 먼저 “비서가 지금 발언권을 갖고 있는가”를 판단해야 합니다. Duplex-MPE는 침묵을 소극적인 실패가 아니라 평가해야 할 능력으로 다루며, 사람이 이미 문제를 해결한 뒤 비서가 멈출 수 있는지도 확인합니다. 회의실, 가정, 차량처럼 공유된 공간의 실제 사용에 더 가까운 접근입니다.

이 결과는 응답 빈도를 품질의 대리 지표로 삼기 어렵다는 점도 보여줍니다. 계속 끼어드는 시스템은 반응성이 높아 보일 수 있지만 대화 흐름을 방해합니다. 반대로 지나치게 조심스러운 시스템은 실제로 도움을 요청받은 순간을 놓칠 수 있습니다. 실용적인 전이중 비서에는 음성 이해뿐 아니라 화자와 지시 대상 파악, 응답 여부 결정, 생성 중단을 위한 실시간 제어가 함께 필요합니다.

명시적 요청과 암묵적 요청을 쌍으로 구성한 방식은 모델이 단순히 특정 단어에 반응하는지, 아니면 호명 대상과 대화 의도를 이해하는지 구분하는 데 유용합니다. 연구팀은 데이터와 코드를 공개하기 위해 준비 중이라고 밝혔습니다. 앞으로 음성 모델의 기준은 “사람처럼 말하는가”를 넘어 “집단 대화에 분별 있게 참여하는가”로 확장될 수 있습니다.

출처: Hugging Face Daily Papers