VAD: 멀티모달 증류에서 교사 보정 속 시각 증거를 분리하다

도입

멀티모달 on-policy distillation(OPD)은 더 풍부한 시각 정보를 가진 교사 모델이 학생 모델의 생성 궤적을 감독하도록 하는 방식이다. 학생이 먼저 자신의 답변 흐름을 만들고, 교사가 그 흐름 위에서 다음 token 단위의 보정을 제공하기 때문에 학생의 실제 행동과 맞닿은 증류가 가능하다.

하지만 VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation 논문은 여기서 중요한 문제를 제기한다. 교사의 보정은 순수한 시각 신호가 아니다. 이미지에 기반한 증거뿐 아니라 언어적 사전 지식, 교사 모델 특유의 편향이나 습관이 섞여 있을 수 있다. 학생이 이를 모두 학습하면, 시각 이해가 아닌 요소까지 함께 전이될 수 있다.

핵심 내용

• 문제는 ‘얼마나 강하게 증류할 것인가’가 아니라 ‘무엇을 증류할 것인가’다: 기존 접근은 어떤 위치를 더 중요하게 볼지, 시각 관련 token에 어떤 가중치를 줄지에 집중하는 경우가 많았다. VAD는 특정 보정이 실제 시각 증거로 뒷받침되는지를 묻는다.
• 반사실적 비교를 활용한다: 학생이 생성한 각 prefix에서 동일한 고정 교사를 사용해, 관련 시각 증거가 존재하는 경우와 제거된 경우의 출력을 비교한다.
• 시각 증거 방향을 만든다: 두 조건 사이의 centered log-probability 변화는 후보 token을 시각 증거가 지지하는지, 반박하는지를 나타내는 부호 있는 proxy로 정의된다.
• 교사 보정을 분해한다: 원래의 보정을 이 proxy 방향에 투영해 시각 개입과 정렬된 성분을 얻고, proxy로 설명되지 않는 잔차는 분리한다.
• 학생 기준 목표를 재구성한다: 학습의 주된 감독 신호는 시각적으로 귀속 가능한 성분에서 만든 재구성 목표이며, privileged teacher는 약한 정규화 역할만 맡는다.

의미와 영향

VAD의 핵심 가치는 멀티모달 증류를 단순한 교사 모방이 아니라, 증거에 근거한 신호 선별 문제로 바꾼 데 있다. 세밀한 시각 과제에서 모델이 틀리는 이유는 언어를 몰라서가 아니라, 이미지 속 결정적 단서를 답변 선택에 활용하지 못해서인 경우가 많다. 따라서 교사의 보정이 이미지 때문에 나온 것인지, 언어적 추측 때문에 나온 것인지 구분하는 일이 중요하다.

논문에 따르면 VAD는 6개의 세밀한 시각 벤치마크에서 4B 및 9B 규모 모델을 대상으로 평가됐으며, 직접적인 privileged-view distillation과 visual-advantage weighting을 능가했다. 또한 token 수준 분석과 controlled-target 분석은 proxy와 정렬된 성분이 과제 관련 시각 보정을 더 많이 포함하며, 특히 증거가 잘못된 답을 반박할 때 더 강한 목표 이동을 만든다는 점을 보여준다.

이 연구는 새로운 멀티모달 모델 공개라기보다, 증류에서 사용하는 학습 신호의 품질을 높이는 방법론이다. 시각언어 모델을 개발하는 팀에게 주는 메시지는 명확하다. 더 나은 증류는 강한 교사를 더 열심히 따라 하는 것이 아니라, 실제 시각 증거가 지지하는 부분을 골라 배우게 하는 데서 시작된다.

출처: Hugging Face Daily Papers