멀티모달

비전-언어 모델은 그럴듯하지만 틀린 답을 만들 수 있습니다. MOTIVE는 여러 검증 관점과 신뢰도 점수를 결합해 답변을 수용할지 재추론할지 결정합니다.

허카이밍 팀이 기존 멀티모달 모델이 과거의 시각 정보를 필요할 때 다시 확인할 수 있도록 하는 시각 네이티브 Harness VISTA를 제안했다. 기반 모델을 추가 학습하지 않고 원본 화면을 저장하고 검색하는 방식이다.

Cloudflare가 Clef 의사결정 모델 제품군에 세 가지 업데이트를 적용했다. 오디오·비디오·이미지·텍스트를 처리하는 Clef-omni를 선보이고, Clef-flash는 더 저렴하게, Clef는 더 빠르게 개선했다.

FMEE는 모델 가중치를 수정하지 않고 배포 과정에서 얻은 경험을 외부 전문 지식으로 축적하는 프레임워크입니다. 추론 절차, 근거 기반 지식, 시각 사례를 결합해 의료용 LLM과 VLM의 지속적인 개선을 지원합니다.

비전 언어 모델에서는 이미지에서 생성되는 많은 비전 토큰이 추론 비용을 크게 높인다. V-CoLA는 선형 어텐션과 하이브리드 아키텍처에 맞춘 학습 없는 압축 프레임워크를 제안한다.

OneSearch-VL은 시각적 grounding, 외부 검색, 사실 조합을 연결하는 시각 근거 증거 그래프를 제안했습니다. 이미지와 영상을 하나의 연구 에이전트 흐름으로 처리하기 위해 학습 데이터, 강화학습 보상, 세부 평가 벤치마크를 함께 설계했습니다.

OmniConfess는 추가 학습 없이 텍스트·이미지·오디오·비디오 채널이 답변의 각 토큰에 미치는 영향을 분석하고, 신뢰하기 어려운 주장을 수정하는 추론 시점 기법입니다.

Kandinsky 6.0 Video는 텍스트나 이미지를 입력해 44kHz 음성과 립싱크가 맞는 약 5초 길이의 영상을 생성하는 모델군입니다. 영상 스트림과 음성 스트림을 양방향으로 연결하는 CrossDiT 구조로 시간적·의미적 정합성을 높입니다.

HUST Vision Lab이 언어와 이미지를 동일한 연속 공간에서 모델링하는 Multimodal Flow를 제안했다. 이미지를 이산 시각 토큰으로 양자화하는 대신 연속 하이퍼청크와 공유 Flow Matching 백본을 사용한다.

ReImaGin은 이미지 생성 모델을 멀티모달 대규모 언어 모델의 시각적 추론 메커니즘으로 활용합니다. 6개 시각 추론 과제에서 텍스트 기반 추론과 전문 비전 도구 기준선을 앞섰으며, 최대 25%의 향상이 보고됐습니다.

이미지 생성 학습은 언제 시각 이해 능력을 높일 수 있을까요? OmniTaskonomy는 19개 이미지 간 생성 과제와 25개 시각 이해 능력을 통합해 과제별 전이 관계를 분석했습니다.

SentZero는 흉부 X선과 방사선 판독 보고서를 활용하는 문장 중심 비전-언어 사전학습 프레임워크입니다. 긍정 쌍의 다양성 부족과 임상적으로 같은 문장이 부정 샘플로 처리되는 문제를 줄여 멀티태스크 제로샷 분석을 높이는 것을 목표로 합니다.

VQS는 답변 다수결 대신 이미지를 구조화된 기록으로 바꾸고 고정 프로그램으로 질문과 답을 생성합니다. 사람 평가에서 94%의 정답률을 보였으며 Qwen3-VL을 10개 벤치마크에서 개선했습니다.

Tencent Hunyuan 연구팀이 비전 인코더를 사용하는 모델과 사용하지 않는 모델의 확장 특성을 비교했다. 인코더 없는 모델은 작은 규모에서는 뒤처지지만, 모델과 학습 연산량이 커지면 격차를 좁힐 가능성이 제시됐다.

AV-GRPO는 공동 오디오·비디오 생성에서 발생하는 보상 신호의 얽힘, 높은 공동 최적화 비용, 동기화 평가의 어려움을 줄이기 위한 온라인 확산 강화학습 프레임워크입니다. 함께 제안된 5DAV는 학습 난도를 조절할 수 있도록 데이터를 여러 차원으로 분해합니다.

PrismML이 퀄컴 스냅드래곤 AR1 Gen 1 플랫폼 기반 스마트 글라스를 위한 1비트 Bonsai 언어 모델을 공개했다. 약 20억 개 파라미터의 비전·언어 모델로 기기 내 처리를 목표로 하지만, 실제 탑재 제품은 아직 발표되지 않았다.

Google DeepMind가 저지연 영상 생성과 실시간 음성 대화를 결합한 Gemini 3.8 Live with Live Avatar를 공개했다. 비동기 도구 실행, 97개 언어 동기화, 기업용 맞춤 아바타를 지원한다.

Ovis-Embedding은 공유 멀티모달 백본으로 텍스트, 이미지, 영상, 음성을 함께 인코딩하는 옴니모달 임베딩 방식을 제시한다. 데이터 구성, 어려운 샘플 학습, 유사도 증류, 추론 차원 조절을 하나의 설계로 묶은 것이 핵심이다.

Realtime-Venus는 대화를 계속 진행하면서 백그라운드에서 추론과 도구 실행을 수행하는 실시간 상호작용 시스템입니다. 오디오·비디오와 음성 대화를 각각 처리하는 두 개의 독립 학습 9B 모델로 구성됩니다.

CARDEA는 Chain-of-Box를 통해 관상동맥 조영술 해석 과정과 이미지 영역을 연결하는 비전-언어 모델입니다. 검증 가능한 보상을 적용한 강화학습은 일부 판정과 제로샷 보고서 생성 성능을 높였습니다.

SpatialBlock은 비용이 크고 노이즈가 발생하기 쉬운 실제 장면의 기하 주석 대신, 합성 블록 쌓기 문제로 대규모 비전 언어 모델의 공간 추론을 훈련하는 방법을 제안한다. SpatialBlock-15k는 3D 투영, 시점 변환, 구조 결합과 색상 기반 공간 앵커를 다룬다.