Evidence-RL: VLM이 ‘이미지 증거’를 보고 답하게 만드는 훈련법

도입

비전-언어 모델(VLM)은 이미지에 대한 질문에 점점 더 자연스럽게 답하고 있다. 하지만 답이 맞았다고 해서 모델이 이미지를 제대로 이해했다고 볼 수는 없다. 모델은 실제 시각 증거가 아니라 언어적 선입견, 데이터셋의 통계적 지름길, 또는 질문과 무관한 배경 단서에 기대어 답할 수 있다.

Evidence-RL: Towards Evidence-intensive Visual Reasoning은 이 문제를 다룬다. 핵심 질문은 단순하다. VLM의 답변은 이미지 속 구체적인 증거에서 나온 것인가, 아니면 그럴듯한 추측과 shortcut에서 나온 것인가?

핵심 내용

논문이 제안한 방법은 **Counterfactual Evidence Disentanglement(CED)**다. CED는 추론 단계가 아니라 훈련 단계에서 작동하는 증거 감사 메커니즘이다. 모델이 생성한 답변에 대해, 답을 뒷받침한다고 볼 수 있는 객체 중심 Evidence Region을 중화한 뒤 답변에 대한 지지도가 얼마나 감소하는지 확인한다.

• 정답 여부만 보지 않는다: 모델이 맞혔는지뿐 아니라, 맞힌 이유가 적절한 시각 증거에 있는지를 본다.
• 객체 중심 증거 영역을 사용한다: CED는 약한 object-level proposal을 활용해 증거 후보 영역을 구성한다.
• 반사실적 개입을 수행한다: 증거 영역을 중화했을 때 모델의 원래 답변 지지가 크게 떨어지는지 측정한다.
• 비증거 영역과 비교한다: 유사하게 선택된 non-evidence region을 처리했을 때의 변화와 비교해, 단순한 이미지 교란 민감도와 실제 증거 의존성을 구분한다.
• GRPO와 결합한다: 답변의 정확성과 CED 신호를 함께 사용해, 정답이면서도 증거 경로에 의존한 샘플을 보상한다.

의미와 영향

이 연구의 의의는 VLM의 grounding을 더 인과적인 관점에서 다룬다는 데 있다. 기존의 지각 인식 기반 후훈련 방법은 전체 이미지 교란이나 attention 기반 대리지표를 활용하는 경우가 많았다. 그러나 그런 방식만으로는 특정 답변이 실제로 필요한 국소 증거에 의해 지지된다고 말하기 어렵다.

CED는 “증거를 제거하면 답변 지지가 떨어지는가”를 묻고, 동시에 “비슷한 비증거 영역을 제거했을 때도 같은 현상이 나타나는가”를 비교한다. 이 설계는 모델이 이미지 전체에 막연히 반응하는지, 아니면 답변에 필요한 객체 중심 증거에 의존하는지를 더 분명히 살피려는 시도다.

저자들은 Evidence-RL이 9개의 공개 벤치마크와 4가지 백본에서 기존 RL 기반 후훈련 방법보다 좋은 성능을 보였다고 설명한다. 또한 대상 중심 신호의 유효성을 확인하는 분석도 제시했다고 한다. 질문별 증거 주석이 필요 없고, 추론 시 추가 비용이 없다는 점도 실용적인 장점이다.

다만 CED가 약한 객체 proposal에 기대는 만큼, 후보 영역의 품질이 낮으면 증거 감사의 정확성도 영향을 받을 수 있다. 그럼에도 이 연구는 멀티모달 모델 학습의 방향을 분명히 보여준다. 앞으로는 단순히 정답을 보상하는 것을 넘어, 이미지 증거에 기반해 정답을 내는 과정을 보상해야 한다는 것이다.

출처: Hugging Face Daily Papers