TTCD: 토큰마다 다른 ‘시간’을 부여한 연속 확산 언어 모델

들어가며

확산 모델은 이미지 생성에서 강력한 성과를 보였지만, 언어 모델링에 그대로 적용하기는 어렵습니다. 텍스트는 이산적인 토큰으로 구성되며, 고속 생성을 위해 여러 토큰을 병렬로 결정하면 오류가 누적되기 쉽습니다. University of Texas at Austin 연구진의 논문 “Token Time Continuous Diffusion for Language Modeling”은 이 문제를 해결하기 위한 새로운 확산 언어 모델 TTCD를 제안합니다.

핵심 아이디어

• 연속 공간에서의 언어 모델링: TTCD는 이산 토큰 공간에서 반복적으로 샘플링하는 대신, 가우시안 노이즈를 최종 토큰 캔버스로 결정론적으로 매핑합니다. 논문은 이 방식이 고속 생성에서 병렬 토큰 샘플링으로 생기는 부정확성을 줄이는 데 도움이 된다고 설명합니다.
• 토큰별 시간 개념: TTCD의 가장 중요한 특징은 per-token time입니다. 모든 토큰 위치가 같은 속도로 노이즈에서 토큰으로 변하는 것이 아니라, 각 위치가 서로 다른 속도로 진행할 수 있습니다.
• 조건부 생성에 유리한 구조: 접두사나 문맥이 주어진 생성에서는 모든 위치의 불확실성이 동일하지 않습니다. TTCD는 더 확실한 토큰을 먼저 안정화하고, 나머지 토큰은 주변 정보의 영향을 받으며 계속 정제할 수 있게 합니다.
• 차등적인 토큰 간 상호작용: 토큰마다 정제 단계가 다르기 때문에, 일부 위치가 먼저 제약을 제공하고 다른 위치가 나중에 이를 반영하는 식의 유연한 상호작용이 가능합니다.

실험 결과

연구진은 OpenWebText에서 160M 파라미터 TTCD 모델을 학습한 뒤 자기 증류를 적용했습니다. 논문 요약에 따르면, 고속 생성 조건에서 TTCD는 동일 데이터로 학습되고 자기 증류된 유사 규모의 기존 모델들과 비교해 무조건 생성 품질은 비슷한 수준을 보였고, 조건부 생성에서는 더 나은 성능을 보였습니다. 또한 수독쿠 풀이에서도 유사한 개선이 보고됐습니다.

이 연구의 핵심은 단순히 또 하나의 확산 언어 모델을 제시했다는 데 있지 않습니다. 생성 단계를 크게 줄이면 이산 공간에서 여러 토큰을 병렬로 결정하는 방식이 오차의 원인이 될 수 있는데, TTCD는 연속 표현과 토큰별 비동기 진행을 통해 속도와 품질 사이의 균형을 개선하려 합니다.

의미와 영향

자기회귀 언어 모델이 보통 왼쪽에서 오른쪽으로 토큰을 하나씩 생성한다면, 확산 언어 모델은 전체 문장 캔버스를 점진적으로 다듬는 방식에 가깝습니다. TTCD는 여기에 모든 위치가 같은 시간표를 따를 필요는 없다는 관점을 더합니다.

이 접근은 접두사 조건부 생성, 빈칸 채우기, 구조적 추론처럼 위치마다 제약과 불확실성이 다른 작업에서 특히 유용할 가능성이 있습니다. 다만 현재 제공된 정보는 논문 초록과 소개 페이지에 기반하므로, 더 큰 모델이나 실제 서비스 환경에서의 성능은 추가 검증이 필요합니다. 그럼에도 TTCD는 확산 기반 언어 모델링에서 ‘시간’을 전체 시퀀스가 아니라 개별 토큰에 배정하는 흥미로운 연구 방향을 보여줍니다.

출처: Hugging Face Daily Papers