이산 확산 모델의 통합 관점: 토큰화가 생성의 출발점이다

도입

이미지 생성에서 확산 모델이 강력했던 이유 중 하나는 연속 공간이라는 전제가 비교적 명확하기 때문이다. 픽셀 공간은 고정되어 있고, 가우시안 노이즈를 더한다는 행위도 자연스러운 기하학적 의미를 가진다. 그러나 텍스트, 단백질, 분자, 코드, 그래프, 테이블 데이터처럼 이산 기호로 구성된 영역에서는 상황이 다르다. 어떤 토큰을 “조금” 바꾼다는 것이 무엇을 뜻하는지부터 정의해야 한다.

Hugging Face Daily Papers에 소개된 서베이 논문 “Discrete Diffusion Models: A Unified Framework from Tokenization to Generation”은 이 문제를 중심에 둔다. 논문의 핵심 주장은 토큰화가 단순한 전처리가 아니라 이산 확산 모델의 주된 설계 축이라는 것이다. 이산 상태공간을 어떻게 만들었는지가 오염 과정, denoising 난이도, 제어 가능성, 유효성, 계산 비용을 모두 좌우한다.

핵심 내용

• 상태공간 설계가 먼저다. 연속 이미지에서는 노이즈의 의미가 비교적 분명하지만, 범주형 데이터에서는 토큰 간의 가까움이나 변형 가능성을 직접 설계해야 한다. 서브워드, VQ 코드북, 아미노산, 뉴클레오타이드, 원자 타입은 모두 서로 다른 확산 공간을 만든다.
• 여러 접근을 하나의 틀로 묶는다. 논문은 이산 확산을 corruption operator, denoiser parameterization, training objective, sampler라는 네 구성요소로 정리한다. 이 관점에서 D3PM, masked diffusion, SEDD, discrete flow matching은 완전히 별개의 계열이 아니라 공통 설계 공간 안의 서로 다른 선택이다.
• 다양한 도메인에 적용되는 공통 질문이 있다. 텍스트와 코드는 의미와 문법의 일관성이 중요하고, 단백질과 유전체는 자연적인 생물학적 알파벳을 기반으로 한다. 분자와 그래프는 유효한 구조를 보장해야 하며, 계획과 에이전트에서는 전체 결과를 수정하고 제어하는 능력이 중요하다.
• 시스템과 평가도 모델 설계의 일부다. 학습 목적, 추론 알고리즘, 스케일링 특성, 시스템 최적화, 평가 프로토콜은 나중에 붙이는 요소가 아니다. 논문은 실용적인 이산 확산 모델을 만들려면 이러한 요소를 처음부터 같은 설계 공간 안에서 다뤄야 한다고 강조한다.

의미와 영향

이 논문의 가치는 새로운 단일 모델을 제안하는 데 있지 않다. 빠르게 흩어지고 있는 이산 확산 연구를 비교하고 정리할 수 있는 언어를 제공한다는 점이 중요하다. 특히 “노이즈”와 “복원”이라는 개념이 토큰 공간의 구조 없이는 충분히 정의될 수 없다는 점을 분명히 한다.

또한 논문은 자기회귀 모델과 확산 모델의 관계를 승자독식으로 보지 않는다. 자기회귀 모델은 순차적 계획과 생성에 강하고, 확산 모델은 병렬 디코딩과 전역적 수정에 장점이 있다. 따라서 앞으로는 자기회귀 모델이 큰 틀을 만들고 확산 모델이 편집이나 정교화를 담당하는 혼합 시스템이 더 중요해질 수 있다.

이산 데이터를 다루는 연구자와 개발자에게 이 서베이의 메시지는 분명하다. 샘플러나 학습 목적을 고르기 전에, 먼저 해당 도메인의 이산 세계가 어떤 기하를 가져야 하는지 정의해야 한다.

출처: Hugging Face Daily Papers