비전·비디오

VideoRAE는 동결된 비디오 파운데이션 모델의 표현을 압축 가능하고 재구성 가능하며 생성 모델에 적합한 잠재표현으로 전환하려는 접근이다. 픽셀 재구성에 치우친 기존 3D-VAE의 한계를 겨냥한다.

arXiv 논문이 만주어 역사 문헌 OCR을 사례로, 시각적 서체에 따라 페이지를 전문 모델로 보내는 다중 전문가 방식을 제안했다. 반복 미세조정 과정의 체크포인트를 영역 전문가로 재활용하는 점이 특징이다.

ABAW11 다중 작업 학습 챌린지를 다룬 arXiv 논문은 표정 분류, 얼굴 행동 단위 검출, 정서가-각성도 추정에 동일한 융합 구조를 강제하는 것이 최선이 아닐 수 있다고 분석한다.

새 arXiv 논문은 언어 모델링의 Screening 메커니즘을 시각 인식으로 확장한 VisionScreen을 제안한다. 모든 이미지 패치에 상대적 attention 가중치를 주는 대신, 관련성이 낮은 패치를 명시적으로 배제하려는 접근이다.

새 arXiv 논문은 춤을 단순한 연속 모션 신호가 아니라 해석 가능한 ‘원자 동작’의 시퀀스로 모델링하는 방법을 제안한다. 음악 기반 동작 계획과 부드러운 모션 생성을 분리해 구조와 제어성을 높이는 방식이다.

arXiv 논문은 심리학의 피크-엔드 법칙에서 영감을 받은 비디오 미학 평가 프레임워크 Peak-End-Net을 제안했다. 이 모델은 모든 프레임을 똑같이 보지 않고, 인상적인 순간과 마지막 장면의 영향을 강조한다.

arXiv에 공개된 TCA-Net은 저조도 이미지 향상에서 밝기와 색도 스트림을 다시 결합하는 과정의 신뢰성에 초점을 맞춘다. 핵심은 고정 Top-K 선택 대신 임계값 기반 교차 어텐션을 사용하는 것이다.

PiVoT는 노이즈와 클러터가 많은 레이더 포인트클라우드에서 학습 없이 다중 객체 검출과 추적을 수행하는 프레임워크다. 외부 클러스터링이나 별도 검출기 없이 위치 및 도플러 측정을 함께 활용한다.

arXiv 새 논문은 고주파의 시점 비의존 텍스처를 압축된 텍스처 아틀라스에 굽는 Spatial Texture-Atlas Splatting을 제안한다. 저자들은 3DGS 대비 최대 5배 속도 향상과 소비자용 하드웨어에서 4K 60FPS 실시간 렌더링을 보고했다.

RainDancer는 RGB 영상과 이벤트 카메라 신호를 결합해 비 오는 영상의 복원을 개선하려는 프레임워크입니다. 핵심은 두 모달리티를 바로 섞지 않고, 먼저 비와 배경 성분으로 분해한 뒤 상호작용시키는 것입니다.