멀티모달

Vivix가 실시간 상호작용 멀티모달 모델 A1을 공개했다. 핵심은 단순한 말하는 아바타가 아니라, 사용자의 입력에 따라 계속 움직이고 반응하는 가상 캐릭터다.

독일 AI 스타트업 블랙포레스트랩스가 멀티모달 기반 모델 Flux3를 발표했다. 이 모델은 Self-Flow 아키텍처를 기반으로 이미지, 비디오, 오디오, 액션 정보를 통합적으로 이해하고 생성하는 것을 목표로 한다.

PaddleOCR 팀의 HPD-Parsing은 VLM 기반 문서 파서가 페이지 전체를 한 줄로 순차 생성하는 병목을 겨냥한다. 전역 레이아웃 조정과 블록 단위 병렬 디코딩을 분리해 처리량을 크게 높였다고 보고했다.

AV-Flamingo는 짧은 클립이 아니라 길고 복잡한 실제 음성-비전 영상을 이해하도록 설계된 오픈 대형 모델이다. 대규모 학습 데이터, 단계적 커리큘럼, 시간축에 맞춘 추론으로 정렬성과 해석 가능성을 높였다.

Hallo4D는 3D와 4D 생성에서 발생하는 기하 구조 오류와 시간적 불안정을 줄이기 위한 프레임워크입니다. 생성 모델을 다시 학습하지 않고, 멀티모달 LLM을 일관성 평가자로 활용합니다.

KnowAct-GUIClaw는 “Know Deeply, Act Perfectly” 패러다임을 바탕으로 OpenClaw의 크로스플랫폼 GUI 조작 한계와 자기 진화 메커니즘 부족을 보완하려는 프레임워크다. 경험 기반 메모리, 자기 진화형 스킬 라이브러리, 반성 과정을 결합해 개인 어시스턴트의 실행 능력을 지속적으로 높이는 데 초점을 둔다.

Boogu-Image-0.1은 이미지 생성, 편집, 빠른 추론, 중국어·영어 텍스트 렌더링을 겨냥한 오픈소스 통합 멀티모달 모델 제품군이다. 논문은 제한된 컴퓨팅 환경에서도 데이터, 학습 파이프라인, 추론 시 확장을 최적화하면 폐쇄형 시스템에 가까운 성능을 낼 수 있다고 설명한다.

FM²는 의료영상 기반모델이 필요로 하는 다기관 데이터와, 환자 데이터를 중앙에 모으기 어려운 개인정보 보호 제약 사이의 간극을 겨냥한다. 논문은 기관별 영상 모달리티 차이를 핵심 문제로 정의하고 연합학습 기반 해법을 제시한다.

arXiv 논문 CF-Net은 비정형 영상에서 ambivalence/hesitancy, 즉 양가감정과 망설임을 인식하기 위한 멀티모달 모델을 제안한다. 핵심은 표준적인 감정 표현보다 시각·음성·텍스트 사이의 미묘한 불일치를 보는 것이다.

새 arXiv 논문은 멀티모달 대형 언어 모델을 활용한 학습 없는 HOI 탐지 프레임워크 AgentHOI를 제안한다. 고정된 상호작용 분류기를 학습하는 대신, 의미 추론과 공간적 그라운딩을 모듈식으로 조율한다.

arXiv에 공개된 새 논문은 2D 사전학습 의료 멀티모달 대형언어모델이 3D 체적 영상을 더 잘 이해하도록 슬라이스 단위 데이터 합성 방식을 제안한다. 핵심은 최종 답변이 아니라 진단에 가까운 공간 추론 과정을 학습시키는 것이다.

AspectCLIP은 이미지에는 여러 의미적 측면이 있지만 캡션은 보통 그중 일부만 설명한다는 점에 주목한다. 텍스트 유사도 기반 속성 클러스터를 통해 일관성 정규화를 더 정교하게 적용한다.

Thinking Machines가 Hugging Face에 Inkling을 공개했다. 이 모델은 이미지, 텍스트, 오디오를 네이티브 입력으로 받는 대규모 오픈 멀티모달 모델로, 1M 컨텍스트와 MoE 구조를 핵심 특징으로 내세운다.