서론

장시간 음성 이해에서 가장 어려운 점은 내용을 요약하는 것보다 특정 발화가 언제 있었는지를 정확히 짚는 일입니다. GigaChat Audio는 이 문제를 겨냥해 시간 인식형 음성 LLM을 제안합니다. 최대 120분의 입력을 처리할 수 있으며, 질문 답변뿐 아니라 타임스탬프가 포함된 구간 설명과 요약도 지원합니다.

핵심 포인트

• 시간 표현 내장: 주기적인 시간 마커를 음성 토큰과 교차 배치해 내용과 위치 정보를 함께 학습합니다.
• 장문 오디오 대응: 최대 2시간 분량의 녹음을 대상으로 설계되어 실제 활용 시나리오에 더 가깝습니다.
• 합성 감독 학습: 계단식 파이프라인으로 대규모 합성 데이터를 만들고 시간 정렬을 학습시킵니다.
• 체계적 소거 실험: 시간 표현, 마커 빈도, tokenization, 길이 혼합 비율이 정확도와 계산 비용에 어떤 영향을 주는지 분석합니다.
• 오픈 릴리스: 모델 가중치와 데이터셋이 공개되어 재현과 확장이 가능합니다.

의미와 영향

이 기술은 회의록 정리, 팟캐스트 검색, 강의 복습, 고객센터 분석처럼 시간 위치가 중요한 작업에 특히 유용합니다. 단순히 “무슨 내용인지”를 넘어서 “어느 구간에 있는지”를 알려주면 검색성과 검증 가능성이 크게 좋아집니다. 사용자는 필요한 지점으로 바로 이동할 수 있고, 편집이나 감사도 쉬워집니다.

연구 관점에서는 장시간 음성 성능이 단순한 모델 규모보다 시간 표현과 감독 설계에 크게 좌우된다는 점을 보여줍니다. 시간 마커와 연속 음성 토큰을 함께 쓰는 접근은 앞으로의 speech/audio LLM 설계에 유용한 참고점이 될 수 있습니다.

Source: Hugging Face Daily Papers