멀티모달

Hallo4D는 3D와 4D 생성에서 발생하는 기하 구조 오류와 시간적 불안정을 줄이기 위한 프레임워크입니다. 생성 모델을 다시 학습하지 않고, 멀티모달 LLM을 일관성 평가자로 활용합니다.

KnowAct-GUIClaw는 “Know Deeply, Act Perfectly” 패러다임을 바탕으로 OpenClaw의 크로스플랫폼 GUI 조작 한계와 자기 진화 메커니즘 부족을 보완하려는 프레임워크다. 경험 기반 메모리, 자기 진화형 스킬 라이브러리, 반성 과정을 결합해 개인 어시스턴트의 실행 능력을 지속적으로 높이는 데 초점을 둔다.

arXiv 논문 CF-Net은 비정형 영상에서 ambivalence/hesitancy, 즉 양가감정과 망설임을 인식하기 위한 멀티모달 모델을 제안한다. 핵심은 표준적인 감정 표현보다 시각·음성·텍스트 사이의 미묘한 불일치를 보는 것이다.

새 arXiv 논문은 멀티모달 대형 언어 모델을 활용한 학습 없는 HOI 탐지 프레임워크 AgentHOI를 제안한다. 고정된 상호작용 분류기를 학습하는 대신, 의미 추론과 공간적 그라운딩을 모듈식으로 조율한다.

arXiv에 공개된 새 논문은 2D 사전학습 의료 멀티모달 대형언어모델이 3D 체적 영상을 더 잘 이해하도록 슬라이스 단위 데이터 합성 방식을 제안한다. 핵심은 최종 답변이 아니라 진단에 가까운 공간 추론 과정을 학습시키는 것이다.

AspectCLIP은 이미지에는 여러 의미적 측면이 있지만 캡션은 보통 그중 일부만 설명한다는 점에 주목한다. 텍스트 유사도 기반 속성 클러스터를 통해 일관성 정규화를 더 정교하게 적용한다.

Thinking Machines가 Hugging Face에 Inkling을 공개했다. 이 모델은 이미지, 텍스트, 오디오를 네이티브 입력으로 받는 대규모 오픈 멀티모달 모델로, 1M 컨텍스트와 MoE 구조를 핵심 특징으로 내세운다.