Qwen-Music 기술 보고서: 멜로디를 먼저 계획하는 풀송 생성 모델

들어가며

Qwen 팀은 Hugging Face Daily Papers를 통해 「Qwen-Music Technical Report」를 소개했다. Qwen-Music은 짧은 오디오 조각이 아니라, 완전한 보컬 노래와 고음질 스테레오 출력을 목표로 하는 음악 생성 모델이다. 텍스트 설명과 가사를 기반으로 새 곡을 만들 수 있고, 기존 곡을 다른 스타일이나 보컬 특성으로 재해석하는 커버 생성도 지원한다.

핵심 내용

• 두 가지 주요 작업: Text to Music Generation은 텍스트 설명, 가사, 음악적 속성을 입력으로 받아 새로운 노래를 생성한다. Cover Song Generation은 참조곡의 멜로디 관계를 활용하면서 스타일과 보컬 특성을 바꾸는 작업이다.
• 세 부분으로 나뉜 구조: Qwen-Music-Tokenizer는 오디오를 25 Hz 단일 코드북 Music Semantic Tokens로 압축해 의미와 멜로디 정보를 보존한다. Qwen-Music-LLM은 이 토큰을 바탕으로 자기회귀적 음악 의미 모델링을 수행한다. Qwen-Music-Render는 이산적인 의미 토큰의 한계를 보완해 풍부한 음향 디테일과 고음질 스테레오 파형을 생성한다.
• Melody-CoT: 보고서에서 가장 중요한 아이디어는 멜로디 토큰 기반 chain-of-thought 방식이다. 모델이 곡 전체를 바로 생성하는 대신, 먼저 멜로디를 계획하고 이를 전체 노래로 확장한다. 저자들은 이 방식이 창의성, 음악성, 구조적 일관성, 참조 오디오 기반 멜로디 클로닝에 도움이 된다고 설명한다.
• 대규모 다국어 학습: Qwen-Music-LLM은 수백 개 언어를 포함하는 500만 시간 이상의 음악 데이터로 학습됐다. 학습 과정에는 품질을 고려한 사전학습 커리큘럼과 지도 초기화, 오프라인 DPO, 온라인 GSPO로 구성된 점진적 후처리 학습이 포함된다.

의미와 영향

음악 생성의 어려움은 단순히 그럴듯한 소리를 만드는 데서 끝나지 않는다. 긴 곡 안에서 멜로디, 리듬, 가사, 보컬, 편곡, 구조가 서로 맞물려야 한다. Qwen-Music은 LLM이 다루기 쉬운 음악 의미 토큰으로 먼저 계획하고, 별도의 렌더링 모듈이 실제 음향 품질을 끌어올리는 방식으로 이 문제를 나눈다.

보고서에 따르면 Qwen-Music은 중국어와 영어 프롬프트 600개를 대상으로 한 평가에서 16개 객관적 음악성·오디오 품질 지표 중 13개에서 최첨단 결과를 기록했다. 또한 전문 평가자들이 주요 독점 시스템보다 Qwen-Music 출력을 선호했다는 내용도 포함돼 있다. 커버 생성에서는 참조 멜로디를 더 정확히 보존한다고 설명한다.

다만 제공된 자료에는 모델 가중치 공개 여부가 명시돼 있지 않다. 댓글에서도 오픈소스 공개 시점을 묻는 반응이 보인다. 따라서 현재로서는 Qwen-Music을 즉시 사용할 수 있는 공개 모델이라기보다, AI 음악 생성의 기술적 방향을 보여주는 보고서로 보는 것이 적절하다. 향후 가중치, 데모, 재현 가능한 평가가 공개된다면 풀송 생성 분야의 중요한 기준점이 될 수 있다.

출처: Hugging Face Daily Papers