VeriSpoof, 음성 LLM을 진위 판별에서 음성 포렌식으로 확장

들어가며

음성이 진짜인지 합성인지 알려주는 것만으로는 실제 음성 포렌식의 요구를 충족하기 어렵습니다. 조사자는 어떤 생성 시스템이 음성을 만들었는지, 녹음의 어느 구간이 합성됐는지, 녹음 채널이 신호에 어떤 변화를 줬는지, 두 녹음이 같은 출처를 공유하는지도 확인해야 합니다. 멜버른대학교 연구진이 제안한 VeriSpoof는 이러한 질문을 하나의 오디오 언어 모델로 다루려는 시도입니다.

핵심 내용

• 다섯 작업을 하나로 통합. 딥페이크 탐지, 생성기 귀속, 녹음 조건 분석, 합성 구간 위치 추정, 음원 검증을 공유 가중치로 처리합니다. 생성기 귀속은 생성 시스템뿐 아니라 음향 모델과 보코더 수준까지 다룹니다.
• 설명 문장을 검증 가능하게 설계. 모델은 문장별 가능도로 답변을 평가하므로 별도의 전용 분류 헤드 없이 탐지와 음원 검증에 임계값을 적용할 수 있습니다. 설명의 각 문장은 파형 측정값, 구간 라벨, 생성기 메타데이터와 대조할 수 있도록 구성됩니다.
• 증거에 따라 결론이 바뀌도록 학습. 반사실적 예제를 사용해 근거가 바뀌면 판단도 바뀌도록 훈련합니다. PartialEdit 평가에서 설명을 생성하는 방식은 부분 편집 녹음의 99.6%를 포착했으며, 한 번에 답하는 방식의 78.4%보다 높았습니다.
• 오픈 웨이트 성능이 두드러짐. VeriSpoof-Plus는 Speech-DF-Arena 14개 테스트 세트에서 통합 EER 2.14%를 기록했습니다. 전체 28개 시스템 중 3위이며 오픈 웨이트 시스템 가운데 1위입니다. 8개 코퍼스의 공식 학습 분할만 사용한 Base 버전은 4.43% EER을 달성했습니다.
• 파라미터 효율성을 고려. 전체 규모는 약 28.5억 파라미터지만 학습 중 업데이트되는 파라미터는 2970만 개입니다. 프로젝트 설명에 따르면 그래디언트 체크포인팅을 이용해 24GB GPU 한 장에서 학습할 수 있습니다.

의미와 한계

VeriSpoof의 핵심 의미는 음성 분석을 단순한 이진 분류에서 근거 중심의 포렌식 절차로 확장했다는 데 있습니다. 부분 편집 음성, 학습에 등장하지 않은 생성기를 이용한 비교, 신경 코덱 기반 위조 음성에서는 전체 파일에 대한 진위 판정만으로 충분한 정보를 얻기 어렵습니다. 학습에 없던 생성기가 만든 녹음들이 같은 출처인지 검증하는 실험에서는 동일한 가중치로 6.2% EER을 보고했습니다.

통제 실험은 역할 분담도 보여줍니다. 탐지 성능은 오디오 표현의 영향을 크게 받고, 녹음 비교에는 LLM 부분이 더 중요하며, 신경 코덱 위조 음성에는 출처 관련 감독 신호가 필요했습니다. 다만 벤치마크 결과가 곧바로 실제 수사나 법적 판단의 확정적 증거가 되는 것은 아닙니다. 압축, 잡음, 기기 차이, 새로운 합성 방식에 따라 신호와 근거의 신뢰도는 달라질 수 있습니다. 그럼에도 판정과 독립적으로 확인 가능한 이유를 연결하려는 접근은 기존의 “진짜/가짜” 레이블보다 실무에 가까운 방향을 제시합니다.

출처: Hugging Face Daily Papers