확산 언어 모델 안에 숨어 있는 ‘무의식의 시계’

들어가며

확산 언어 모델(Diffusion Language Models, DLMs)은 자기회귀 언어 모델의 대안으로 주목받고 있다. 토큰을 왼쪽에서 오른쪽으로 하나씩 생성하는 방식과 달리, 확산 방식은 노이즈가 섞인 시퀀스를 여러 단계에 걸쳐 정제해 텍스트로 만든다.

일반적인 확산 모델에서는 현재 디노이징 과정의 어느 지점에 있는지를 알려주는 타임스텝이 명시적으로 입력된다. 하지만 일부 DLM은 이런 시간 조건을 직접 받지 않는다. 그렇다면 모델은 자신이 디노이징의 어느 단계에 있는지 어떻게 파악할까?

논문 “Subliminal Clocks: Latent Time Modelling in Diffusion Language Models”는 DLM 내부에 일종의 숨겨진 시계가 존재할 수 있다고 설명한다. 외부에서 타임스텝을 주지 않아도, 모델의 활성 공간 안에는 디노이징 진행도와 관련된 잠재 표현이 형성된다는 것이다.

핵심 내용

• 내부 활성에서 시간 신호를 읽을 수 있다: 연구진은 모델의 잔차 스트림을 분석해, 여러 층에서 확산 타임스텝과 관련된 정보를 프로브로 비교적 안정적으로 추출할 수 있음을 보였다. 이는 진행 상태가 완전히 사라진 것이 아니라 내부 상태에 인코딩되어 있음을 시사한다.

• 그 신호는 실제 동작과 연결된다: 논문은 단순히 상관관계를 찾는 데 그치지 않는다. 추정된 타임스텝과 관련된 저차원 부분공간을 따라 모델을 조정하면, 모델이 인식하는 디노이징 진행도를 체계적으로 바꿀 수 있었다. 그 결과 출력의 신뢰도와 엔트로피도 예측 가능한 방향으로 변했다.

• 표현에는 구조가 있다: 저자들은 이 잠재 시간 표현의 기하학적 성질도 분석했다. 해당 신호는 무작위적인 부산물이 아니라, 활성 공간 안에서 구조적이고 해석 가능한 성질을 보이는 것으로 제시된다.

의미와 영향

이 연구의 핵심 가치는 새로운 모델을 제안했다는 데 있지 않다. 오히려 DLM이 내부적으로 생성 과정을 어떻게 조직하는지 이해할 수 있는 단서를 제공한다는 점이 중요하다. 지금까지 DLM 논의는 생성 품질, 샘플링 방식, 자기회귀 모델과의 비교에 집중되는 경우가 많았다. 이 논문은 “모델이 자신이 어느 정제 단계에 있는지 어떻게 아는가”라는 더 기계론적인 질문을 던진다.

만약 DLM의 잠재 시간 표현을 안정적으로 조작할 수 있다면, 향후 생성 과정을 더 세밀하게 제어하는 연구로 이어질 수 있다. 예를 들어 초기 단계에서는 더 탐색적인 출력을 허용하고, 후반 단계에서는 더 확신 있는 선택으로 유도하는 식의 접근이 가능할 수 있다. 다만 제공된 자료는 성능 향상이나 실제 배포 가능한 기술을 주장하지 않으므로, 현재로서는 해석 가능성과 제어 가능성을 향한 기초 연구로 보는 것이 적절하다.

더 넓게 보면, 이 결과는 신경망이 명시적으로 주어지지 않은 변수라도 과제 수행에 필요하다면 내부 좌표계로 구성할 수 있음을 보여준다. 확산 언어 모델에서 그 숨겨진 시계는 노이즈에서 문장으로 이동하는 과정을 정리하는 중요한 단서일 수 있다.

출처: Hugging Face Daily Papers