확산 언어 모델의 생성 속도가 작업과 언어에 따라 달라지는 이유

확산 언어 모델은 한 번의 순전파에서 여러 토큰을 처리할 수 있고, 생성 중 필요한 계산 횟수를 스스로 조절한다. 이 구조는 자동회귀 모델보다 효율적인 생성 가능성을 제시하지만, 실제 속도가 모든 작업에서 일정하다는 뜻은 아니다. 새로운 연구는 같은 길이의 출력이라도 작업, 언어, 답변의 정확성에 따라 필요한 계산량이 크게 달라질 수 있음을 보여준다.

작업이 생성 비용을 바꾼다

연구진은 두 확산 모델을 10개 작업에 적용하고, 출력 토큰 하나를 생성하는 데 필요한 순전파 횟수를 측정했다. 입력을 그대로 복사하거나 문법을 조금 수정하는 작업처럼 결과가 입력에 의해 강하게 제한되는 경우에는 비용이 낮았다. 반면 이야기 쓰기처럼 가능한 표현이 많은 개방형 작업에서는 모델이 더 많은 반복적 조정을 수행했다. DiffusionGemma에서는 이야기 생성의 토큰당 순전파 횟수가 문법 교정의 세 배를 넘었다.

이 차이는 단순히 출력 길이 때문이 아니다. 연구는 두 가지 출력 특성이 비용 변화의 상당 부분을 설명한다고 분석했다. 하나는 출력이 입력과 비교해 얼마나 새로운 내용을 포함하는가이고, 다른 하나는 해당 작업에서 단어가 얼마나 드문가이다. 문맥에 의해 이미 정해진 표현은 빠르게 확정할 수 있지만, 새로운 정보나 드문 어휘가 포함된 결과는 더 많은 반복 계산을 요구하기 쉽다.

사고 과정과 다국어 생성

사고 과정이 포함된 응답 내부에서도 비슷한 현상이 나타났다. 최종 답변이 앞선 추론 내용을 거의 반복하면 상대적으로 적은 계산으로 생성할 수 있다. 그러나 추론 과정에 없던 새로운 결론이나 세부 정보를 추가하면 비용이 증가한다. 이는 확산 디코딩의 부담이 프롬프트뿐 아니라 응답을 만들어 가는 각 단계에서 남아 있는 불확실성에도 좌우된다는 의미다.

언어에 따른 차이도 중요하다. 어떤 언어는 같은 의미를 표현할 때 더 많은 토큰으로 분할된다. 연구에서는 이런 언어가 토큰 수가 많을 뿐 아니라 토큰 하나를 생성하는 데 필요한 순전파 횟수도 더 많을 수 있음을 확인했다. 따라서 다국어 서비스에서는 단순한 토큰 수만으로 비용을 추정하면 실제 부담을 과소평가할 가능성이 있다.

속도를 답변 품질 신호로 활용

가장 실용적인 결과는 생성 비용과 정답성의 관계다. 같은 수학 문제를 풀 때 오답은 정답보다 토큰당 더 많은 계산을 필요로 하는 경향을 보였다. 연구진은 이 특성을 이용해 여러 후보 답변을 동일하게 세는 대신, 디코딩 속도에 따라 가중치를 부여했다. 그 결과 추가 추론 비용 없이 다수결보다 최대 4.2포인트 높은 성능을 얻었다.

물론 빠른 답변이 언제나 옳다는 뜻은 아니다. 속도는 정답을 보장하는 기준이 아니라 후보의 불확실성을 추정하는 보조 신호다. 또한 실험은 특정 모델과 작업을 대상으로 했기 때문에, 더 큰 모델이나 다른 분야에서도 같은 관계가 유지되는지는 추가 검증이 필요하다. 그럼에도 모델이 얼마나 많은 계산을 사용했는지를 후보 선택과 자원 배분에 활용한다는 발상은 효율적인 추론 시스템을 설계하는 데 유용한 방향을 제시한다.

산업적 의미

확산 언어 모델의 계산상 이점은 고정된 수치가 아니라 출력이 입력, 문맥, 기존 추론에 의해 얼마나 결정되어 있는지에 따라 달라진다. 교정과 편집, 구조화된 생성에서는 병렬 디코딩의 이점을 살리기 쉽지만, 창의적 글쓰기와 희귀 어휘, 다국어 처리에서는 실제 비용이 커질 수 있다.

앞으로 추론 시스템은 생성 속도를 단순한 성능 지표가 아니라 의사결정 정보로 사용할 수 있다. 불확실한 후보에만 추가 계산을 배정하거나, 속도가 빠른 답변을 우선 검토하는 방식이 가능하다. 이러한 신호가 다양한 모델과 작업으로 안정적으로 확장되는지는 남은 과제지만, 비용 절감과 신뢰성 향상을 함께 모색할 수 있는 실용적인 단서라는 점은 분명하다.

출처: Hugging Face Daily Papers