NLD-Uni, 시각 이해와 생성을 하나의 이산 확산 모델로 통합

들어가며

현재의 멀티모달 AI 시스템은 시각 이해와 이미지 생성을 서로 다른 모델이나 학습 방식으로 처리하는 경우가 많다. 자기회귀 비전-언어 모델은 이미지를 보고 질문에 답하거나 추론하는 데 강점을 보이는 반면, 이미지 생성과 편집은 연속 확산 모델이나 플로 모델이 주로 담당한다. 이산 확산 언어 모델은 텍스트와 시각 정보를 공통 token 공간에서 다룰 가능성을 제시하지만, 이해 능력과 생성 품질을 동시에 확보하는 일은 여전히 어렵다.

Nemotron-Labs-Diffusion-Uni, 줄여서 NLD-Uni는 이 문제를 겨냥한 통합 이산 확산 언어 모델이다. 연구진은 서로 다른 생성 패러다임에서 능력을 옮기는 방법과, 생성 과정에서 발생한 오류를 단계적으로 고치는 방법에 초점을 맞췄다.

핵심 내용

• 패러다임 간 온폴리시 증류. NLD-Uni는 Cross-Paradigm On-Policy Distillation(OPD) 프레임워크를 제안한다. 자기회귀 비전-언어 모델에서 시각 이해 능력을, 연속 플로 모델에서 시각 생성 능력을 가져와 하나의 이산 확산 모델에 통합하는 방식이다. 학생 모델이 실제로 생성하는 경로를 따라 학습한다는 점에서, 다른 모델의 최종 출력만 모방하는 방식과 구별된다.
• 직접적인 mask 치환을 완화. 전통적인 masked diffusion은 깨끗한 이미지 token을 정보가 거의 없는 mask token으로 한 번에 바꾸는 경우가 많다. NLD-Uni는 학습 중 각 token을 여러 단계에 걸쳐 점진적으로 손상시켜, 깨끗한 상태와 심하게 훼손된 상태 사이의 중간 과정도 학습하도록 한다.
• 생성 중 확정과 재검토. 추론 단계에서 모델은 일부 token을 먼저 확정하고, 다른 부분은 이후 단계에서 계속 다듬을 수 있다. 이는 전체 이미지를 한 번에 복원하기보다, 부분적인 판단을 누적하고 필요하면 수정하는 생성 방식이다.
• 이해와 생성 과제를 함께 평가. 논문 요약에 따르면 평가 범위에는 시각 질의응답, 멀티모달 추론, 객체 그라운딩, 텍스트-이미지 생성, 이미지 편집이 포함된다. 다만 제공된 소재만으로는 모델 규모, 정확한 벤치마크 점수, 제거 실험 결과를 확인할 수 없다.

의미와 영향

NLD-Uni의 중요한 점은 단순히 언어 모델에 이미지 디코더를 붙이는 것이 아니라, 서로 다른 학습 패러다임에서 나온 능력을 하나의 이산 token 공간에 넣으려 한다는 데 있다. 자기회귀 모델은 보통 순서대로 토큰을 이어 붙이는 반면, 확산 모델은 불완전하거나 노이즈가 섞인 상태를 여러 차례 변환한다. 따라서 교사 모델의 최종 결과를 그대로 복사하는 것만으로는 학생 모델의 생성 과정에 맞는 지식을 얻기 어렵다. OPD는 모델 자신의 확산 궤적을 기준으로 학습함으로써 이 차이를 줄이려는 시도다.

점진적 자기 개선 과정은 이산 확산 생성의 취약점에도 대응한다. 모델이 초기에 잘못된 token을 확정하면 이후 단계에서 이를 되돌리기 어려울 수 있다. token을 단계적으로 손상시키고 중간 상태에서 판단하도록 하면, 주변 문맥이 추가된 뒤 세부 요소나 전체 일관성을 다시 조정할 여지가 생긴다. 다만 실제 이점은 추론 단계 수, 샘플링 전략, 계산 비용에 따라 달라질 수 있다.

NLD-Uni는 시각 이해, 생성, 편집을 하나의 멀티모달 모델로 통합하려는 흐름을 보여준다. 논문 요약만으로도 방법론적 방향은 확인할 수 있지만, 전용 모델을 전면적으로 대체할 수 있는지는 전체 실험 표, 공개 코드, 독립적인 재현 평가를 통해 검증해야 한다. 현재 소재는 혁신적인 설계를 뒷받침하지만, 구체적인 성능 우위를 과장할 정도의 근거를 제공하지는 않는다.

출처: Hugging Face Daily Papers