BYOD, LoRA만으로 자기회귀 모델을 확산 언어 모델로 변환

들어가며

확산 언어 모델은 일반적인 자기회귀 모델과 다른 방식으로 텍스트를 생성합니다. 왼쪽에서 오른쪽으로 토큰을 하나씩 예측하는 대신, 처음에는 전체 시퀀스를 마스크로 채운 뒤 여러 차례의 디노이징 과정에서 여러 위치를 병렬로 갱신합니다. 이 방식은 양방향 문맥 활용, 유연한 생성 순서, 조정 가능한 추론 예산을 가능하게 합니다. 그러나 새로운 확산 언어 모델을 사전학습하거나 기존 모델 전체를 미세조정하는 데는 상당한 비용이 듭니다.

BYOD(Build Your Own DLM)는 이 비용을 줄이기 위해 LoRA만 학습하는 변환 레시피를 제안했습니다. 사전학습된 자기회귀 모델의 가중치는 그대로 두고, 확산 방식의 생성을 유도하는 어댑터만 추가하는 접근입니다.

핵심 결과

• Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B, Ministral 8B를 양방향 마스크 확산 모델로 변환했습니다. 연구진은 Ministral 변환을 해당 모델 계열의 최초 보고 사례라고 설명합니다.
• 모든 기반 모델 파라미터를 동결했으며, LoRA 어댑터는 최종 파라미터의 4.1~5.8%에 불과했습니다. 전체 모델 미세조정이나 모델별 전용 변환 설계가 필요하지 않습니다.
• 각 변환은 2만5000회 반복으로 진행됐고, 사용한 토큰은 최대 1억240만 개였습니다. Google Colab GPU 한 장에서 약 3.1~4.0시간이 걸렸으며, 논문 실험에는 96 GB NVIDIA RTX PRO 6000이 사용됐습니다.
• 네 모델 모두 완전히 마스크된 시퀀스에서 텍스트를 생성했습니다. 통제된 어텐션 실험에서도 양방향 문맥 활용이 나타났고, 부모 모델의 지식도 상당 부분 유지했습니다.
• 9개 태스크 평가에서 BYOD-Gemma는 평균 정확도 50.6%를 기록했습니다. 같은 평가 환경에서 LLaDA 8B Instruct는 51.9%였습니다.

남은 한계

BYOD의 핵심 장점은 기존 확산 모델을 전면적으로 능가하는 것이 아니라, 변환 실험의 진입 장벽을 낮춘 데 있습니다. 자유 생성 품질은 여전히 가장 큰 약점입니다. 128개 토큰을 64단계로 생성했을 때 BYOD의 난이도는 8.311.1로, LLaDA의 4.1과 부모 자기회귀 모델의 2.23.0보다 높았습니다. 확산 방식으로 생성하는 절차는 습득했지만, 낮은 NFE(네트워크 함수 평가) 예산에서 자연스러움과 분포 적합도를 유지하려면 추가 개선이 필요하다는 뜻입니다.

의미와 영향

BYOD는 자기회귀 모델에서 확산 모델로의 전환을 대규모 사전학습이 아닌 어댑터 학습 문제로 다시 정의합니다. 연구자는 기반 모델의 원래 가중치를 바꾸지 않고 데이터셋, 모델 구조, 디코딩 전략을 비교할 수 있습니다. 기존 지시학습 모델의 지식을 활용하면서 병렬 갱신과 가변 디노이징 스케줄도 실험할 수 있습니다.

다만 대형 부모 모델을 다루는 데 필요한 메모리 부담은 사라지지 않습니다. 논문 수준의 설정에는 유료 GPU도 필요합니다. 생성 속도, 품질, 디노이징 단계 사이의 최적 균형 역시 아직 확립되지 않았습니다. 따라서 BYOD는 자기회귀 생성을 대체하는 완성형 해법이라기보다, AR에서 DLM으로의 변환을 누구나 검토하고 개선할 수 있게 하는 연구 출발점으로 보는 편이 적절합니다. 학습 노트북과 코드, 브라우저 데모도 함께 제공됩니다.

출처: Hugging Face Daily Papers