AnySpeechRecognizer, Apple 플랫폼에 교체 가능한 로컬 음성 모델 제공

Apple은 iOS 26과 macOS 26에서 새로운 음성 인식 API인 SpeechAnalyzer를 도입했다. 개발자는 SpeechTranscriber와 SpeechDetector 같은 모듈을 조합해 파일이나 실시간 오디오를 처리할 수 있으며, 모델 자산을 언제 내려받을지도 애플리케이션에서 관리할 수 있다. 다만 인식 엔진은 Apple이 제공하는 구현에 한정돼 있었다.

AnySpeechRecognizer는 이 구조를 유지하면서 음성 인식 엔진을 선택할 수 있게 만든 패키지다. SpeechAnalyzer, SpeechTranscriber, DictationTranscriber, SpeechDetector, AssetInventory와 유사한 API를 제공한다. 기존 Swift 애플리케이션이 Apple의 인터페이스를 사용하고 있다면, 다른 엔진으로 바꿀 때 주로 전사기 생성 방식만 수정하면 된다. 자산 설치, 분석기 구성, 비동기 결과 수신 흐름은 그대로 유지할 수 있다.

핵심 내용

• 여러 로컬 모델 지원: NVIDIA의 Parakeet TDT 0.6B v3, Parakeet Ultra, Parakeet Unified와 Alibaba의 Qwen3-ASR 0.6B 및 1.7B를 지원한다.
• 언어 범위의 차이: Parakeet v3는 25개 유럽 언어를 인식하고 언어를 자동으로 판단한다. Qwen3-ASR은 30개 언어와 22개 중국어 방언을 다루며, 표준 중국어·광둥어·일본어·한국어도 포함한다.
• 실시간 처리의 차이: Parakeet은 실시간 입력, 임시 결과, 단어별 시간 정보와 신뢰도를 지원한다. Qwen3-ASR은 최대 약 40초 구간마다 최종 결과를 반환하며 임시 결과와 단어 단위 속성은 제공하지 않는다.
• 화자 분리 기능: Streaming Sortformer를 전사기와 함께 실행해 최대 네 명의 화자를 추적하고, 시간 정보가 있는 단어를 각 화자 발화에 연결한다.
• Core ML 배포: 변환된 모델은 Hugging Face Hub에서 제공되며, 애플리케이션이 요청할 때만 다운로드된다. 파일은 표준 Hugging Face 캐시에 저장된다.

제공된 LibriSpeech 측정에서는 파일 전사 조건에서 Parakeet이 테스트한 Apple 전사기보다 낮은 단어 오류율을 보였다. 실시간 모드에서는 즉각적인 피드백을 얻는 대신 일부 정확도를 양보하는 경향이 있다. 측정은 M4 Max Mac Studio 한 대와 제한된 데이터셋에서 수행됐으므로, 이를 모든 환경에 적용되는 성능 보장으로 해석해서는 안 된다. 여러 사람이 겹쳐 말하는 회의 음성은 모든 엔진에서 여전히 어려운 영역이었다.

AnyDecisionModel은 전사 이후의 판단을 다룬다. 애플리케이션이 필요한 것이 예·아니오, 여러 선택지 중 하나, 또는 평점이라면 범용 언어 모델에 문장을 생성하게 할 필요가 없다. AnyDecisionModel은 모델의 확률에서 타입이 지정된 답변과 확률을 직접 계산한다. MLX, Core AI, llama.cpp로 실행되는 모델뿐 아니라 Jev와 Ollama가 제공하는 의사결정 모델도 사용할 수 있다.

두 패키지가 보여주는 방향은 Apple 기기에서 AI 기능을 더 모듈화하는 것이다. 개발자는 언어 지원, 지연 시간, 메모리, 개인정보 요구에 따라 음성 엔진을 고르고, 단순한 분류나 라우팅은 전용 의사결정 모델에 맡길 수 있다. Core ML은 Apple 하드웨어에 맞는 실행 기반을 제공하지만, 모델 크기, 최초 다운로드, 메모리 사용량, 실제 음성 데이터에서의 정확도는 제품마다 따로 검증해야 한다. AnySpeechRecognizer의 핵심 가치는 이러한 제약을 없애는 것이 아니라, Swift 애플리케이션에서 직접 선택하고 조합할 수 있게 한 데 있다.

출처: Hugging Face Blog