SIVA-RL: 정답을 넘어 시각 증거에 맞추는 멀티모달 강화학습

도입

검증 가능한 보상을 활용한 강화학습(RLVR)은 멀티모달 추론 성능을 끌어올리는 중요한 방법으로 자리 잡고 있다. 하지만 최종 답이 맞았다는 사실만으로 비전-언어 모델이 실제로 이미지를 보고 판단했다고 말하기는 어렵다. 텍스트 단서나 사전 지식만으로도 정답에 도달할 수 있기 때문이다.

SIVA-RL은 이 지점을 정면으로 다룬다. 특정 이미지 변형 연산이 항상 같은 의미를 갖는다고 가정하지 않고, 각 샘플에서 개입이 실제로 보상에 어떤 변화를 만들었는지를 보고 학습 신호를 정한다.

핵심 내용

• 문제의식: 기존 시각 개입 방식은 원본 이미지와 수정 이미지에서의 모델 행동을 비교하지만, 감독 신호를 개입 연산의 종류에 따라 부여하는 경우가 많다. 논문은 같은 연산이라도 샘플마다 영향이 달라질 수 있어 이 가정이 취약하다고 본다.
• 국소 개입 구성: SIVA-RL은 토큰과 정렬되고 거리 제약을 둔 이미지 내부 PatchSwap으로 국소적인 시각 개입을 만든다. 텍스트와 관련된 시각 영역 주변을 더 통제된 방식으로 바꾸려는 설계다.
• 감사 정책 활용: 동결된 audit policy가 깨끗한 이미지와 개입된 이미지 쌍을 평가한다. 이때 관측된 보상 하락폭이 샘플을 어디에 사용할지 결정하는 소프트 라우팅 가중치가 된다.
• 민감도와 불변성: 보상이 크게 떨어진 쌍은 중요한 시각 증거에 민감해지도록 학습하는 데 쓰인다. 보상 변화가 작으면 깨끗한 샘플을 기준으로 한 불변성 정렬에 사용된다. 애매한 쌍은 가중치를 낮춘다.
• 호환성: 논문은 SIVA-RL이 GRPO와 DAPO 백본 모두에 적용 가능하다고 설명한다. 즉, 하나의 독립 알고리즘이라기보다 기존 멀티모달 RL 훈련에 결합할 수 있는 프레임워크에 가깝다.

의미와 영향

SIVA-RL의 핵심 전환은 “개입을 만드는 과정”과 “그 개입에서 얻을 감독 신호를 정하는 과정”을 분리한 데 있다. 기존 접근은 특정 조작을 하면 중요한 정보가 손상됐거나 의미가 유지됐다고 미리 간주하기 쉬웠다. 반면 SIVA-RL은 실제 보상 변화를 관측한 뒤 샘플 단위로 판단한다.

논문에 따르면 SIVA-RL은 수학, 논리, 시각 의존 과제를 포함한 아홉 개 멀티모달 추론 벤치마크에서 3B와 7B 모델 모두에 대해 대응 RL 베이스라인을 모든 설정에서 앞섰다. 특히 시각 의존 추론에서는 8.79%포인트 향상, GRPO 및 DAPO 기반 네 가지 구성 전체에서는 최대 14.9%의 상대적 종합 개선이 보고됐다.

향후 더 다양한 모델과 공개 구현에서 재현된다면, SIVA-RL은 멀티모달 RL이 단순히 정답을 보상하는 단계를 넘어, 정답을 가능하게 한 시각 증거 사용까지 강화하는 방향을 제시할 수 있다.

출처: arXiv