Block, 감정 표현과 로컬 실행을 내세운 음성 모델 Dessa 공개

들어가며

음성 AI는 텍스트를 자연스러운 목소리로 읽어주는 수준에서, 음성 자체를 중심으로 대화하는 단계로 이동하고 있다. Block의 연구팀이 공개한 Dessa는 이런 변화를 겨냥한 모델이다. 회사와 연구자들이 공유한 시연에서는 웃음, 침묵, 말투의 변화, 피곤한 듯한 목소리, 감정이 북받치는 표현 등이 등장한다. 정해진 문장을 읽는 음성 합성기보다 실제 대화 상대에 가까운 반응을 목표로 한 셈이다.

핵심 내용

• 풀 듀플렉스 대화: Dessa는 사용자가 말하는 동안 듣고 동시에 말할 수 있다. 상대방의 발화가 완전히 끝날 때까지 기다리는 일반적인 음성 비서보다 자연스러운 대화 흐름을 만들 수 있는 구조다.
• 음성 대 음성 모델: Block은 Dessa가 인간의 음성만으로 학습됐다고 설명했다. 학습에는 NVIDIA GPU 랙 한 대를 사용했다고 밝혔지만, 모델 크기와 세부 학습 설정은 공개하지 않았다.
• 텍스트 중간 단계의 한계 보완: 많은 음성 시스템은 먼저 텍스트를 만들고, 감정 태그 등을 이용해 이를 음성으로 변환한다. Block은 이 과정에서 음높이, 말의 속도, 망설임, 억양 같은 정보가 사라질 수 있다고 지적한다. Dessa는 이런 요소를 음성 상호작용 안에서 직접 다루려 한다.
• 로컬 실행: Block에 따르면 모델은 MacBook M4 Max 또는 그 이상의 소비자용 컴퓨터에서 실행할 수 있다. 다만 지연 시간, 메모리 사용량, 정확한 하드웨어 요구사항에 대한 벤치마크는 아직 나오지 않았다.
• 아직 공개되지 않음: 현재 일반 사용자가 Dessa를 내려받아 이용할 수는 없다. Block은 음성 에이전트가 상대방을 속이거나 사람으로 오인될 가능성을 점검하기 위해 안전성 연구자들을 모집하고 있다.

의미와 과제

로컬 실행은 Dessa의 중요한 실용적 장점이 될 수 있다. 음성 처리를 기기 안에서 수행할 수 있다면 클라우드 의존도와 네트워크 지연, 추론 비용을 줄일 여지가 있다. 기업용 도구나 소비자 기기에 음성 기능을 넣는 일도 쉬워질 수 있다. Block 산하 Square는 이미 주문 처리에 음성 AI를 활용하고 있어, 회사가 이 기술을 상업 서비스로 확장할 수 있는 맥락도 갖고 있다.

하지만 인간처럼 들리는 목소리는 사용성 향상인 동시에 위험 요소다. 피곤하거나 취약해 보이는 목소리는 사용자가 시스템에 실제보다 큰 신뢰와 공감 능력을 부여하게 만들 수 있다. AI라는 사실을 명확히 알리는 절차, 녹음 동의, 음성 사칭 방지, 대화 기록과 감사 체계가 제품 설계에 포함돼야 한다.

현재 공개된 자료만으로 Dessa가 사실 질문에 얼마나 정확한지, 긴 대화를 안정적으로 이어가는지, 끼어들기와 안전성 문제를 어떻게 처리하는지는 알 수 없다. 감정 표현이 모델 자체에서 나오는지, 공개되지 않은 별도 제어 방식의 결과인지도 불분명하다. 따라서 Dessa는 완성된 범용 음성 비서라기보다 음성 AI의 새로운 설계 방향을 보여주는 기술 시연으로 보는 편이 적절하다. 앞으로의 핵심은 얼마나 사람처럼 들리느냐뿐 아니라 자연스러움과 투명성, 개인정보 보호와 안전성을 함께 확보할 수 있느냐에 있다.

출처: TechCrunch AI