이산 확산 모델의 새 지도: 토큰화가 생성의 출발점이다

도입

이미지 분야에서 확산 모델이 강력했던 이유 중 하나는 연속 공간에 자연스러운 기하 구조가 있기 때문이다. 픽셀이나 잠재 변수에는 가우시안 노이즈를 조금씩 더할 수 있고, 모델은 그 과정을 거꾸로 되돌리는 법을 배운다. 하지만 텍스트, 코드, 단백질 서열, 유전체, 분자, 그래프처럼 이산적인 대상을 다룰 때는 상황이 다르다. 한 단어를 다른 단어로, 한 아미노산을 다른 아미노산으로 바꾸는 것이 얼마나 작은 변화인지는 기본적으로 정해져 있지 않다.

「Discrete Diffusion Models: A Unified Framework from Tokenization to Generation」은 이 지점을 이산 확산 모델의 핵심 문제로 본다. 저자들의 주장은 분명하다. 이산 확산에서 토큰화는 단순한 전처리가 아니라 상태 공간을 만드는 주된 설계 축이다. 어떤 토큰 체계와 어휘 구조를 택하느냐가 노이즈로 망가뜨리는 방식, 복원 난이도, 생성물의 유효성, 제어 가능성, 계산 비용을 결정한다.

핵심 내용

• 토큰화를 중심에 둔 관점: 논문은 서브워드 같은 의미 기반 토큰, VQ 코드북 같은 양자화 토큰, 아미노산·뉴클레오타이드·원자 타입 같은 자연 알파벳을 함께 다룬다. 각 선택은 모델이 무엇을 손상시키고, 무엇을 예측하며, 어떻게 수정할 수 있는지를 바꾼다.
• 네 가지 구성요소의 프레임워크: 이산 확산은 부패 연산자, 디노이저 파라미터화, 학습 목표, 샘플러라는 네 요소로 설명된다. 이 관점에서 D3PM, 마스크드 디퓨전, SEDD, 이산 flow matching은 서로 동떨어진 방법이 아니라 같은 설계 공간의 다른 인스턴스다.
• 여러 도메인에 대한 지도: 적용 범위는 텍스트와 코드에 그치지 않는다. 멀티모달 생성, 단백질, 유전체, 분자와 그래프, 계획과 에이전트, 표 데이터까지 포함한다.
• 시스템과 평가까지 포함: 스케일링, 추론 알고리즘, 시스템 최적화, 평가 프로토콜도 나중에 붙이는 요소가 아니라 모델 설계와 함께 고려해야 할 부분으로 제시된다.

의미와 영향

이 논문의 가치는 빠르게 커지는 이산 확산 연구를 하나의 구조로 정리했다는 데 있다. 지금까지 전이 행렬 기반 모델, 흡수 상태나 마스크를 쓰는 모델, score/ratio 기반 방법, flow matching 계열은 서로 다른 갈래처럼 보이기 쉬웠다. 하지만 네 요소 프레임워크로 보면, 이들은 같은 생성 절차에서 일부 구성요소를 다르게 선택한 사례로 이해할 수 있다.

또 하나 중요한 점은 자기회귀 모델과 확산 모델을 단순한 승자 독식 관계로 보지 않는다는 것이다. 자기회귀 모델은 순차 생성, 긴 문맥 처리, 성숙한 인프라에서 여전히 강하다. 반면 이산 확산은 병렬 디코딩, 전체 문맥을 반영한 반복 수정, 편집형 생성에 강점을 가진다. 따라서 앞으로는 자기회귀 모델이 계획이나 초안을 만들고, 확산 모델이 이를 정교하게 다듬는 하이브리드 시스템이 더 현실적인 방향일 수 있다.

연구자와 개발자에게 주는 메시지는 실용적이다. 샘플러나 손실 함수를 고르기 전에 먼저 “이 상태 공간이 문제에 맞는가”를 물어야 한다. 도메인의 구조를 토큰과 어휘 위상에 잘 반영할 수 있다면, 이산 확산은 과학 모델링, 구조 생성, 제어 가능한 편집에서 더 큰 잠재력을 가질 수 있다.

출처: Hugging Face Daily Papers