YuE2, 악보로 음악을 계획한 뒤 완성곡을 생성하다

들어가며

음악 생성 모델은 대체로 두 종류로 나뉘어 왔다. 기호 기반 모델은 멜로디, 화성, 리듬, 곡의 형식을 명확하게 표현하지만 완성된 녹음까지 생성하는 경우는 제한적이다. 반대로 오디오 모델은 처음부터 끝까지 들을 수 있는 노래를 만들지만, 내부의 작곡 결정이 잘 드러나지 않아 수정하기 어렵다. YuE2는 이 간극을 줄이기 위해 음악을 먼저 계획하고, 그 계획을 실제 음원으로 렌더링하는 구조를 택했다.

핵심 내용

• 악보가 생성 과정의 출발점이다. YuE2는 하나의 AR-NAR Mixture-of-Transformers를 사용해 먼저 멜로디와 코드를 지정하는 읽을 수 있는 악보를 작성한다. 이후 이를 의미 기반 음악 토큰으로 확장하고 완성곡 오디오로 변환한다.
• 작곡과 음원 제작을 하나로 연결한다. MIDI나 이벤트 시퀀스만 출력하거나 파형만 바로 생성하는 방식과 달리, 기호적 작곡 계획과 음악 표현, 최종 오디오 실현을 동일한 모델 안에서 이어 붙인다. 결과물에는 보컬과 반주가 포함된다.
• 기호 계획의 효과를 비교했다. 같은 체크포인트를 사용한 실험에서 전문가의 전체 선호도는 기호 계획을 사용한 버전이 49.3%, 계획이 없는 버전이 34.6%였다. 이는 중간 악보가 편집 가능성을 높일 뿐 아니라 최종 음악성에도 영향을 줄 수 있음을 시사한다.
• 공개 벤치마크에서 높은 점수를 보고했다. WildSongBench의 SongBench Global Avg에서 6.73점을 기록해 보고서에서 평가한 공개 기준 모델들을 앞섰다. 8개 후보 중 가장 좋은 결과를 고르는 best-of-8 방식에서는 6.96점에 도달했다. 전문가 청취 평가에서 best-of-8 결과는 Suno v4.5보다 선호됐고, Suno v5와는 선호도가 거의 균형을 이뤘다고 저자들은 보고한다.
• 음악 이해 모델도 함께 제시했다. 녹음 데이터에는 정확히 대응하는 악보가 없는 경우가 많다. 이를 보완하기 위해 MERT2는 음악 표현 학습, SheetSage2는 기호 전사를 담당한다. 보고서에 따르면 MERT2는 15개 MARBLE 지표 중 14개에서 기존 최고 결과를 넘어섰다.

의미와 남은 과제

YuE2의 의미는 단지 더 그럴듯한 노래를 만드는 데 있지 않다. 악보를 중간 표현으로 사용하면 사용자는 오디오가 확정되기 전에 멜로디, 코드, 구조를 검토하고 바꿀 수 있다. 프로젝트는 제로샷 커버, 악보 기반 편집, 외부 언어 모델 에이전트의 편집 지원도 언급한다. 이는 음악 생성기를 일회성 샘플러가 아니라 상호작용형 작곡 도구로 발전시키려는 방향과 맞닿아 있다.

다만 결과는 논문이 제시한 벤치마크와 전문가 청취 평가에 기반하며, best-of-8은 여러 후보 중 하나를 선택하는 절차다. 따라서 모든 개별 생성물이 동일한 품질을 보장한다고 해석하기는 어렵다. 복잡한 편곡, 가사, 가창 표현을 얼마나 안정적으로 처리하는지, 그리고 사용자가 실제로 악보 수준의 제어를 원하는지도 추가 검증이 필요하다. 그럼에도 YuE2는 기호 작곡의 제어 가능성과 완성 오디오 생성의 즉시성을 결합하는 유력한 설계 방향을 보여준다.

출처: Hugging Face Daily Papers