LOWN, 필요할 때만 이미지를 보는 확산형 VLM 추론법

배경

확산형 비전-언어 모델(DVLM)은 여러 디노이징 단계를 거치며 마스크된 텍스트 토큰을 점진적으로 복원한다. 일반적인 방식에서는 각 단계마다 입력 이미지를 전체적으로 다시 처리한다. 그러나 생성 과정에서 이미지는 바뀌지 않기 때문에, 모델은 같은 시각 정보를 반복해서 읽게 된다. 논문이 분석한 벤치마크에서는 시각 토큰이 입력의 89~97%를 차지해, 이미지 재처리가 추론 비용의 핵심 요인이 된다.

‘Look Only When Needed’의 약자인 LOWN은 이 문제를 이미지 접근의 적응형 제어로 해결한다. 이미지를 항상 처리하는 대신, 현재 예측이 새로운 시각 정보 없이도 유지될 수 있는지 단계마다 확인하는 방식이다.

작동 방식

연구진의 관찰에 따르면 이미지를 제거해도 다음에 언마스크할 토큰이 바뀌지 않는 단계가 많다. LLaDA-V를 기준으로 이미지가 있을 때와 없을 때를 비교하면, 언마스크 대상 토큰이 달라지는 단계는 평균 22.8%에 불과했다. 일부 벤치마크에서는 그 비율이 7.9%까지 낮아졌다.

LOWN의 절차는 다음과 같다.

• 먼저 이미지를 처리하지 않고 텍스트 문맥만으로 마스크 토큰을 예측한다.
• 이 결과를 가장 최근의 이미지 조건부 예측과 비교한다.
• 두 예측이 일치하면 이전 이미지 조건부 결과를 ‘인증된’ 결과로 보고 재사용한다.
• 예측이 달라질 때만 이미지를 다시 처리해 결과를 갱신한다.
• 인증된 토큰의 수에 따라 해당 단계에서 언마스크할 토큰의 수도 정한다.

이 방식은 시각 토큰 가지치기와 다르다. 가지치기는 시각 정보 일부를 제거하지만, LOWN은 필요할 때 전체 이미지 정보에 다시 접근할 수 있도록 유지하면서 반복 계산만 건너뛴다. 또한 벤치마크마다 이미지 의존도가 다르기 때문에, 일정한 간격으로 이미지를 처리하는 고정 스케줄보다 현재 예측에 따른 동적 판단이 적합하다.

성능과 한계

LOWN은 별도 학습을 요구하지 않으며, 사전에 조정한 임계값도 사용하지 않는다. 10개 벤치마크에서 LLaDA-V 점수의 99.6%를 유지하면서 평균 디코딩 FLOPs를 35.3% 수준으로 낮췄다. 생성 시간은 평균 57.4% 줄었다고 보고됐다. LLaDA 기반의 다른 DVLM에도 일반화되며, 시각 토큰 가지치기와 함께 사용할 수 있다는 점도 제시됐다.

다만 LOWN은 시각 정보 자체를 없애는 기법이 아니다. 세밀한 이미지 정보를 계속 요구하는 작업에서는 예측 불일치가 더 자주 발생해 절감 효과가 작아질 수 있다. 제공된 자료에는 하드웨어, 배치 크기, 이미지 해상도별 지연 시간 분석이 포함되어 있지 않으므로 실제 서비스에서의 이득은 시스템 구성에 따라 별도로 검증해야 한다.

의미

LOWN의 핵심은 어떤 시각 토큰을 버릴지보다, 언제 이미지를 다시 참조해야 할지를 최적화했다는 데 있다. 예측 일치를 과거의 멀티모달 계산을 재사용할 수 있다는 가벼운 신호로 활용하기 때문에 별도의 라우터를 학습하지 않아도 된다.

같은 이미지 문맥을 여러 번 재방문하는 확산형 멀티모달 모델에서는 입력을 생성 전 과정에서 동일한 빈도로 소비할 필요가 없다. LOWN은 시각 정보를 영구적으로 삭제하지 않으면서 수요가 있을 때만 접근하는 설계를 보여준다. 이는 향후 확산형 VLM의 추론 서빙 비용을 줄이는 실용적인 방향으로 이어질 수 있다.

출처: Hugging Face Daily Papers