SIMIT, 비전·언어 모델이 테스트 전에 스스로 연습하게 하다

들어가며

비전·언어 모델은 더 긴 추론이나 반복 샘플링을 통해 답변을 개선할 수 있지만, 이런 방식이 모델 자체의 행동을 바꾸는 것은 아닙니다. 덴마크공과대학교 연구진이 제안한 SIMIT는 테스트 시점을 짧은 연습 과정으로 바꿉니다. 모델이 라벨이 없는 실제 테스트 질문에 답하기 전에, 해당 질문과 관련된 멀티모달 연습 문제를 스스로 만들고 그 데이터로 적응하는 방식입니다.

작동 방식

SIMIT의 핵심은 모델에게 자신의 답이 맞는지 직접 판단하게 하는 데 의존하지 않는 것입니다. 여러 후보의 다수결이나 모델의 자기 평가를 보상으로 사용하는 방법은 기존의 오답을 반복적으로 강화할 수 있습니다. 반면 SIMIT는 먼저 원하는 답을 지정한 다음, 그 답과 맞는 이미지와 질문을 생성합니다. 따라서 모델이 원래의 테스트 질문을 정확히 풀지 못하더라도, 답을 통제할 수 있는 연습 사례를 구성할 수 있습니다.

주요 구성은 다음과 같습니다.

• 질의 맞춤형 데이터 생성: 일반적인 연습 데이터가 아니라 현재 테스트 질문과 관련된 질문·답변·이미지 삼중항을 만듭니다.
• 구조화된 시각 자료 지원: 기본 이미지 생성 기능과 함께 문서, 차트, 다이어그램을 생성하기 위한 확장형 기술 라이브러리를 사용합니다.
• 다단계 검증: 생성된 이미지가 지정된 답변을 실제로 뒷받침하는지 확인해 이미지와 텍스트 사이의 불일치를 줄입니다.
• 난이도 필터링: 지나치게 쉽거나 정보가 부족한 사례를 걸러내 학습에 더 유용한 예시를 남깁니다.
• 적응형 예산 배분: 모델의 확신이 낮은 질문에 더 많은 샘플을 할당해 계산 자원을 취약한 영역에 집중합니다.

생성된 데이터는 두 가지 방식으로 사용할 수 있습니다. SIMIT-ICL은 연습 사례를 입력 문맥에 포함해 모델 파라미터를 바꾸지 않고 답변을 보조합니다. SIMIT-FT는 테스트 시점에 생성 데이터를 사용해 미세조정하고, 적응 결과를 모델 가중치에 반영합니다. 전자는 별도의 학습 없이 적용하기 쉽지만, 후자는 추가적인 업데이트와 계산 비용이 필요합니다.

결과와 영향

논문은 17개의 다양한 벤치마크에서 SIMIT를 평가했습니다. 제공된 자료에 따르면 최상의 구성은 BAGEL-7B 대비 평균 상대 7.20%의 향상을 보였으며, 학습이 필요 없는 SIMIT-ICL도 6.98%의 평균 상대 향상을 기록했습니다. 이 접근의 의미는 단순히 더 오래 생각하는 데 있지 않습니다. 모델의 이미지 생성 능력을 특정 테스트 질문에 맞춘 통제 가능한 연습 데이터로 전환한다는 점이 핵심입니다.

이 방식은 멀티모달 모델의 테스트 시점 계산을 반복 답변 생성에서 사전 적응 과정으로 확장합니다. 다만 합성 이미지의 품질, 검증 절차의 신뢰성, 연습 데이터 생성과 미세조정에 드는 비용은 여전히 중요한 변수입니다. SIMIT와 같은 방법이 실제 서비스에 적용되려면 이러한 요소를 안정적으로 관리할 수 있는지가 관건이 될 것입니다.

출처: Hugging Face Daily Papers