Heartbeat Thinking: 들으면서 준비하는 실시간 음성 에이전트

들어가며

실시간 음성 에이전트는 사용자가 말을 끝내기 전에도 일부 작업을 시작할 수 있습니다. 예를 들어 검색 대상이나 필요한 작업의 일부가 먼저 전달되었다면, 나머지 발화를 기다리는 동안 준비를 진행할 수 있습니다. 그러나 많은 시스템은 전체 요청이 끝난 뒤에야 본격적인 추론과 도구 호출을 시작합니다. 추측 실행은 이 시간을 활용하려는 접근이지만, 새로운 음성 조각이 들어올 때마다 현재 작업을 취소하면 도구 인수가 완성되기 전에 호출이 끊길 수 있습니다.

Heartbeat Thinking은 이 문제를 입력 갱신과 실행 중 작업을 분리해 다루는 방식으로 해결하려 합니다. 최신 전사가 도착해도 모든 처리를 처음부터 다시 시작하지 않고, 이미 진행 중인 작업을 보존하면서 다음 준비 단계로 넘어갑니다.

핵심 방식

• 음성 청크와 계산을 분리한다. 청크 단위 생성이나 입력 갱신 즉시 중단 방식에서는 미완성 도구 호출이 폐기될 수 있습니다. 그 결과 사용자가 말하는 동안 수행한 계산의 일부를 재사용하기 어렵습니다.
• 주기적으로 Thinker를 추가 호출한다. 입력이 바뀌어도 현재 실행 중인 Thinker와 이미 전달된 도구는 계속 완료될 수 있습니다. 동시에 새로운 Thinker가 최신 부분 전사를 읽고 다음 작업을 판단합니다.
• 공유 기록을 사용한다. 새 Thinker는 최신 텍스트뿐 아니라 완료된 추론과 도구 결과가 담긴 공유 기록도 확인합니다. 이를 통해 빠진 인수를 보완하거나, 선행 결과에 의존하는 후속 도구 호출을 시작할 수 있습니다.
• 청취 시간을 준비 시간으로 바꾼다. 준비 작업이 여러 차례의 전사 갱신을 넘어서 이어지므로, 사용자가 발화를 끝냈을 때 검색이나 도구 작업의 일부가 이미 완료되어 있을 수 있습니다.

평가와 한계

논문은 SpeechFCEval, FDBench v3, AudioCRAG에서 SHANKS 방식의 윈도우 기반 기준선과 비교했습니다. Heartbeat Thinking은 벤치마크에 따라 추측 도구 커버리지 또는 검색 결과 재사용을 개선했습니다. 다만 최종 과제 품질에 미치는 효과는 동일하지 않았습니다. 더 많은 작업을 미리 수행하는 것만으로 최종 답변의 품질이 항상 높아지는 것은 아니라는 의미입니다.

FDBench v3에서는 도구 커버리지가 16%포인트 증가했고 최종 응답 평균 지연이 36.4% 줄었다고 보고합니다. 이는 음성 에이전트의 지연 시간이 모델 자체의 생성 속도뿐 아니라 입력 갱신, 병렬 작업, 중간 결과 관리 방식에도 좌우된다는 점을 보여줍니다.

의미와 영향

Heartbeat Thinking의 핵심 기여는 새로운 기반 모델보다 에이전트 실행 구조에 있습니다. 전사 갱신을 기존 작업을 반드시 취소해야 하는 신호가 아니라, 추가적인 사고를 시작할 기회로 바꾼 것입니다. 검색이나 다단계 도구 체인을 사용하는 음성 비서에서는 중복 계산을 줄이고, 사용자가 말을 끝낸 뒤 발생하는 침묵을 단축할 가능성이 있습니다.

물론 추측 실행에는 추가 연산 비용, 부정확한 부분 전사, 오래된 결과와 충돌하는 결과의 조정이라는 문제가 남습니다. 실제 시스템은 Thinker를 언제 호출할지, 어떤 작업을 미리 실행할지, 서로 다른 결과를 어떻게 통합할지 결정해야 합니다. 그럼에도 이 연구는 음성 에이전트가 매번 처음부터 시작하는 대신, 듣는 동안 최종 작업을 향해 점진적으로 수렴하도록 만드는 실용적인 병렬 처리 패턴을 제시합니다.

출처: Hugging Face Daily Papers