OpenVLHarness, 시각 모델에 재사용 가능한 증거와 기억을 제공하다

배경

멀티모달 대규모 언어 모델은 이미지 이해에서 빠르게 발전했지만, 정확한 측정이나 외부 사실 확인, 여러 출처의 정보 통합이 필요한 문제는 모델 내부 추론만으로 해결하기 어렵습니다. UCLA 연구진이 공개한 OpenVLHarness는 모델이 이미지를 보고 바로 답하는 데 그치지 않고, 필요한 증거를 직접 수집하고 점검하며 조합하도록 만드는 추론 하네스입니다.

핵심 구성

• 통합 도구 계층: 작업 수준의 인터페이스를 통해 시각 인식과 웹 검색 등 서로 다른 백엔드를 일관된 방식으로 사용할 수 있습니다.
• 증거 렌더링: 도구의 원시 출력을 그대로 전달하지 않고, 모델이 해석하기 쉬운 관찰 형태로 변환합니다.
• 지속형 멀티모달 메모리: 이미지, 구조화 데이터, 웹 참조를 쿼리 중 주소를 지정할 수 있는 자료로 보존합니다.
• 코드 기반 통합: 모델이 생성한 프로그램을 저장된 데이터에 실행해 여러 도구의 결과를 계산하고 비교할 수 있습니다.

도구를 사용하는 추론에서 중요한 문제는 두 가지입니다. 모델이 도구의 결과를 정확히 이해해야 하고, 초기에 얻은 증거가 뒤의 판단 단계에서도 사라지지 않아야 합니다. OpenVLHarness는 증거를 수집하고, 내용을 확인하고, 코드나 다른 도구로 결합한 뒤, 그 결과를 다음 추론에 넘기는 반복 과정을 구성합니다. 기본 모델을 다시 학습하지 않아도 된다는 점도 특징입니다.

평가와 의미

연구진은 22개 벤치마크와 8개의 오픈 및 독점 백본 모델을 대상으로 시스템을 평가했습니다. 대응하는 도구 미사용 기준과 비교했을 때 평균 성능은 9.712.6점 향상됐습니다. Qwen3-VL-8B에서는 11.2점, Kimi K3에서는 9.7점, GPT-6 Astra에서는 9.9점의 개선이 보고됐습니다. 또한 중간 수준의 추론 설정에서 GPT-6 Luna와 OpenVLHarness를 사용한 결과는 최대 설정의 기본 모델, Codex, Visual Sketchpad보다 7.78.5점 높았으며, 모델 토큰 비용은 이들의 최대 37% 수준이었습니다.

이 결과는 멀티모달 추론 성능이 파라미터 수나 사고 토큰을 늘리는 것만으로 결정되지 않는다는 점을 보여줍니다. 측정, 검증, 출처 간 통합이 필요한 작업에서는 도구 접근 방식과 증거 보존 구조가 품질에 직접 영향을 줍니다. OpenVLHarness는 새로운 단일 모델이라기보다 기존 모델이 외부 능력을 체계적으로 사용하도록 돕는 인프라에 가깝습니다. 다만 도구의 신뢰성, 증거 간 충돌 처리, 장기 메모리 관리는 앞으로 해결해야 할 과제입니다.

출처: Hugging Face Daily Papers