Speculative Forcing, 자율회귀 비디오 생성의 불필요한 디노이징 줄인다

배경

자율회귀 비디오 생성 모델은 콘텐츠를 순차적으로 출력할 수 있어 스트리밍 생성에 적합합니다. 그러나 소수 단계 생성기에서는 모든 토큰을 동일한 일정으로 마지막 디노이징 단계까지 처리하는 경우가 많습니다. 이미 최종 결과에 가까워진 토큰과 계속 수정이 필요한 토큰이 같은 계산량을 사용하는 셈입니다. NAVER AI Lab이 제안한 Speculative Forcing은 이 균일한 처리 방식을 토큰별 동적 처리로 바꾸는 접근입니다.

작동 방식

생성 중간 단계에서 모델은 깨끗한 콘텐츠에 가까운 추정값을 만듭니다. Speculative Forcing은 이를 최종 결과가 아니라 초안으로 간주하고, 검증기를 통해 추가 처리가 필요한지 판단합니다.

• 조기 수용과 고정: 최종 전체 단계 결과와의 차이가 작을 것으로 예상되는 토큰은 최종 출력으로 수용하고 이후 디노이징을 중단합니다.
• 문맥 유지: 고정된 토큰의 키와 밸류 캐시는 계속 보존되므로 후속 토큰 생성의 문맥으로 활용됩니다.
• 선택적 정제: 아직 안정되지 않은 토큰은 필요한 만큼 추가 디노이징을 수행합니다.
• 두 가지 검증기: 학습이 필요 없는 방식은 클린 콘텐츠와의 유사도 및 단계 간 안정성을 이용합니다. 학습 기반 방식은 고정 생성기의 중간 특징을 읽고 토큰이 최종 결과까지 얼마나 남았는지 추정합니다.

성능과 한계

연구진은 짧은 비디오, 긴 비디오, 월드 생성 환경에서 방법을 평가했습니다. LongLive에서는 토큰당 약 1.7회의 디노이징으로 4단계 생성기와 비슷한 품질을 유지했으며, 테스트 설정에서 초당 41.7 및 37.8프레임을 기록했습니다. 이는 기존 처리보다 1.5배를 넘는 속도입니다. 카메라 이동으로 보이는 콘텐츠가 계속 바뀌는 Lingbot-World 2.0에서는 토큰당 약 2.5회의 디노이징으로 품질을 유지하면서 초당 24.5프레임, 약 1.35배의 속도를 달성했습니다.

결과는 비디오 생성의 계산 수요가 토큰마다 다르다는 점을 보여줍니다. 빠르게 안정되는 영역도 있지만, 움직임이 크거나 새롭게 드러나는 콘텐츠는 더 많은 정제가 필요합니다. 따라서 전체 샘플링 단계를 일괄적으로 줄이는 것보다 토큰 단위 판단이 유연할 수 있습니다. 다만 조기 수용의 신뢰도는 검증기 성능에 의존하며, 급격히 변하는 장면에서는 오판 가능성을 추가로 검토해야 합니다.

의미와 영향

Speculative Forcing은 생성 중간의 예측을 동적 추론 스케줄로 연결합니다. 모든 영역의 품질을 일괄적으로 낮추는 대신, 추가 정제의 효과가 작은 부분에서만 계산을 생략하려는 방식입니다. 실시간 비디오, 장시간 비디오 이어 생성, 인터랙티브 월드 모델에서는 지연시간과 처리량 개선에 활용될 가능성이 있습니다. 더 넓게 보면 고정된 단계 수에 의존하던 생성 추론을 콘텐츠 난이도에 맞춰 배분하는 방향을 제시합니다.

출처: Hugging Face Daily Papers