MOSS-VL, 말하면서 계속 보는 실시간 비전언어 모델

들어가며

대부분의 비전언어 모델은 이미지나 영상 입력이 끝난 뒤 답변을 생성하는 오프라인 방식으로 동작합니다. 그러나 실시간 비서에서는 모델이 이미 말하고 있는 동안에도 새로운 영상 프레임이 계속 들어옵니다. 모든 정보를 기다리면 응답이 늦어지고, 너무 일찍 답하면 뒤늦게 들어온 정보와 충돌할 수 있습니다. MOSS-VL Technical Report는 이 ‘보면서 말하기’를 부가 기능이 아니라 모델의 핵심 능력으로 정의합니다.

핵심 설계

• 게이트형 크로스 어텐션으로 시각 정보 연결. 언어 디코더는 생성 중인 토큰 시퀀스에 시각 토큰을 직접 삽입하지 않고, 게이트형 크로스 어텐션을 통해 시각 표현을 참조합니다. 따라서 생성 중에도 들어오는 프레임을 계속 활용할 수 있고, 시각 컨텍스트가 디코딩 시퀀스를 직접 늘리는 문제도 줄일 수 있습니다.
• 발화 행동을 별도로 학습. 연구진은 합성 상호작용 코퍼스를 만들어 모델이 언제 먼저 말해야 하는지, 언제 조용히 있어야 하는지, 새 정보가 생겼을 때 이전 답변을 어떻게 수정해야 하는지를 학습시켰습니다. 일반적인 이미지 질의응답 데이터만으로는 이런 실시간 행동을 충분히 가르치기 어렵습니다.
• 마지막 단계에 실시간 학습 집중. 먼저 강력한 오프라인 기반 모델에서 일반적인 비전언어 능력을 확보한 뒤, 가벼운 최종 단계에서 실시간 특화 학습을 수행합니다. 처음부터 전체 모델을 스트리밍 전용으로 학습하지 않고도 실시간 능력을 추가하려는 접근입니다.

보고된 성능

보고서에 따르면 MOSS-VL-Instruct는 비슷한 규모의 오프라인 과제에서 경쟁력 있는 성능을 보였고, 시간적 추론을 평가하는 영상 데이터셋에서는 선두권 결과를 냈습니다. MOSS-VL-Realtime은 네 개의 스트리밍 벤치마크 중 세 곳에서 오픈소스 스트리밍 모델 가운데 최상의 평균 점수를 기록했으며, 나머지 한 곳에서는 2위를 차지했습니다. 능동적 행동을 집중적으로 평가하는 세 하위 세트에서는 모두 앞섰고, OmniMMI Proactive Alerting에서는 66.0점을 기록해 보고서에 제시된 최고 기준선 37.5점을 크게 웃돌았습니다.

모델 규모는 113억 개 파라미터입니다. 시각 토큰을 디코딩 시퀀스 외부에서 처리하기 때문에 시각 컨텍스트가 커질수록, 같은 백본을 사용하는 Qwen3-VL-8B 대비 time-to-first-token 우위가 2.8배에서 5.1배로 확대됐다고 보고됐습니다. 이는 실시간 응답성이 단순한 파라미터 수뿐 아니라 시각 정보와 생성 과정을 연결하는 방식에도 좌우된다는 점을 보여줍니다.

의미와 과제

MOSS-VL의 중요한 점은 실시간 멀티모달 상호작용을 세 부분으로 나눠 설계했다는 데 있습니다. 아키텍처는 계속 보는 기능을 담당하고, 데이터는 발화와 수정의 타이밍을 학습시키며, 커리큘럼은 특화 학습 비용을 제한합니다. 이 조합은 영상 비서, 능동 알림, 연속 관찰이 필요한 애플리케이션을 위한 오픈 설계 참고점이 될 수 있습니다.

다만 제공된 자료만으로는 각 벤치마크의 세부 설정, 하드웨어 환경, 오류 유형까지 확인하기 어렵습니다. 장시간 실행 안정성, 처리량, 불필요한 발화를 억제하는 신뢰성은 추가 검증이 필요합니다. 다섯 개 체크포인트와 학습 과정, 실시간 추론 코드의 공개는 이러한 후속 재현과 비교를 가능하게 하는 기반을 제공합니다.

출처: Hugging Face Daily Papers