비전-언어 모델은 언제 답을 믿고 언제 다시 생각해야 할까

들어가며

비전-언어 모델(VLM)은 이미지 질의응답과 멀티모달 추론에서 빠르게 발전하고 있습니다. 하지만 자연스럽고 자신감 있는 문장이 정답을 의미하지는 않습니다. 모델은 이미지의 세부 정보를 놓치거나, 잘못된 추론을 그럴듯한 설명으로 포장할 수 있습니다. 외부 판정 모델을 사용하지 않는다면, 모델 스스로 현재 답변을 믿어도 되는지 판단해야 합니다.

논문 When to Rethink는 이 문제를 해결하기 위해 MOTIVE를 제안합니다. 핵심 질문은 모든 답변을 반복해서 수정할 것인지가 아니라, 지금의 답변을 바로 채택할지 아니면 추가 추론을 수행할지 결정하는 것입니다.

답변에서 재고까지

MOTIVE는 “답변—검증—수용 또는 재고”의 흐름으로 작동합니다.

• 답변: 이미지와 질문을 바탕으로 후보 답변을 생성합니다.
• 검증: 동일한 기반 VLM이 다섯 가지 상호보완적 관점에서 후보를 점검합니다.
• 결정: 학습된 신뢰도 점수에 따라 답변을 바로 반환하거나 검증 피드백과 상호작용 이력을 이용해 다시 추론합니다.

추론 단계에서 외부 심판 모델을 요구하지 않는 것도 특징입니다. 답변 생성과 검증은 같은 기반 VLM이 수행합니다. 단순히 검증을 더 많이 시키는 대신, 정답 여부를 기준으로 한 다중 관점 검증 학습을 통해 실제 정확도와 맞물린 신뢰도 추정치를 학습합니다.

단일 프롬프트의 한계

저자들의 분석에 따르면 검증기의 능력이 높을수록 판단의 신뢰성이 좋아집니다. 그러나 검증 프롬프트의 선택도 결과에 큰 영향을 줍니다. 모든 작업에서 일관되게 가장 좋은 단일 프롬프트는 존재하지 않았습니다.

이는 하나의 고정된 점검 지시만으로는 충분하지 않을 수 있다는 뜻입니다. 어떤 프롬프트는 시각적 세부사항에 강하지만 논리적 오류를 놓칠 수 있고, 다른 프롬프트는 반대의 특성을 가질 수 있습니다. MOTIVE는 서로 다른 검증 관점을 결합해 신뢰도 점수를 만들고, 이를 선택 장치로 활용합니다. 점수가 높으면 답변을 수용하고, 불확실하면 이력 기반 재고를 실행합니다.

결과와 영향

실험은 다섯 개 멀티모달 벤치마크와 세 가지 VLM 기반 모델에서 진행되었습니다. 제공된 결과에 따르면 Qwen2.5-VL-3B의 평균 정확도는 55.11%에서 63.13%로 8.02%포인트 상승했습니다. Qwen2.5-VL-7B는 60.49%에서 68.63%로 8.14%포인트 개선되었습니다. 또한 기존 자기검증 방식보다 평균 답변 생성 턴도 감소했습니다.

이 연구가 보여주는 방향은 자기수정을 무조건적인 반복 과정이 아니라 선택 문제로 바라보는 것입니다. 모든 답변을 다시 생각하게 하면 추론 비용이 커지고, 모델이 자신의 오류를 오히려 강화할 수도 있습니다. 반대로 신뢰도 기반 선택은 정확도와 효율성 사이의 균형을 개선할 가능성이 있습니다.

다만 신뢰도 점수는 학습 데이터, 검증 관점, 작업 분포의 영향을 받습니다. 따라서 새로운 영역에 적용할 때는 별도의 검증이 필요합니다. 그럼에도 MOTIVE는 멀티모달 모델이 답을 생성하는 능력뿐 아니라, 자신의 답을 언제 믿어야 하는지 판단하는 능력까지 갖추도록 하는 실용적인 접근을 제시합니다.

출처: Hugging Face Daily Papers