비전·비디오

Open-o3-Video-v2는 처음부터 주어진 희소 프레임에만 의존하지 않고 필요한 영상을 추가로 확인하며, 답변을 뒷받침하는 시점과 객체를 함께 표시합니다.

FramePack-U는 길이에 관계없이 동영상을 고정 크기의 시각 표현으로 압축하는 학습 불필요 프레임 패킹 프레임워크입니다. 텍스트 관련성, 프레임 다양성, 다중 해상도 할당을 결합해 장시간 동영상의 메모리 증가를 억제합니다.

QuadTok은 복잡한 이미지 영역에는 더 많은 표현 용량을, 균일한 영역에는 더 거친 표현을 할당하는 계층형 쿼드트리 토크나이저를 제안한다. 공간 구조를 보존한 채 시퀀스로 변환할 수 있어 자기회귀 이미지 생성에도 활용된다.

장기 비디오 생성에서는 과거를 많이 저장하는 것보다 앞으로 필요한 정보를 골라내는 일이 중요합니다. FrameMorrow는 미래의 정보 수요를 예측하고 이를 이용해 유용한 과거 프레임을 선택합니다.

OneStreamer는 스트리밍 영상에서 실시간 지각, 재사용 가능한 기억, 능동적 응답을 하나로 연결하는 4B 모델입니다. 시간 정보가 포함된 캡션과 이벤트 요약을 생성해 원본 프레임이 최근 시각 창에서 사라진 뒤에도 관련 사실을 활용할 수 있도록 합니다.

프레임을 시간 순서대로 처리하고 전체 셔플이나 반복 재생을 허용하지 않으면 기존 시각 자기지도학습 방법의 성능이 크게 떨어진다. 연구진은 스트림에 맞춘 입력 처리와 정규화를 결합한 StreamMAE를 제안했다.

FlashForward는 디노이징 과정에서 이미 계산된 KV 캐시를 재사용해 캐시 갱신 전용 모델 추론을 줄인다. 노이즈가 남은 이력으로 인한 외관과 움직임의 드리프트는 희소한 클린 앵커로 보완한다.

VideoPhysEdit는 영상의 외형만 바꾸는 데서 나아가, 강체 장면을 재구성하고 물리적 개입 이후의 움직임과 상호작용을 반영한 반사실 영상을 생성합니다.

새로운 해석 가능성 연구는 초기 디노이징 단계에서 RoPE가 공간 어텐션을 과도하게 약화해 비현실적인 움직임을 고정할 수 있다고 분석했다. 연구진은 디노이징 단계별로 RoPE 주파수를 조정하는 경량 방법을 제안했다.

Vidu S2는 대화형 디지털 아바타와 실시간 영상 스트림 편집 모델을 함께 제공한다. 생성 중에도 지시와 참고 이미지를 바꿀 수 있어, 영상을 한 번 생성하고 끝내는 방식에서 지속적으로 조작하는 방식으로 나아가려는 시도다.

ShallowStream은 MLLM의 얕은 층을 활용해 스트리밍 영상의 프레임 인코딩과 검색 색인 구축을 수행하고, 질의가 들어올 때만 깊은 층을 사용합니다. 논문은 프레임별 프리필 지연을 최대 52.1배, 10초 엔드투엔드 지연을 최대 11.9배 줄였다고 보고합니다.

arXiv 연구가 동영상 생성 모델의 증류와 인간 선호 정렬을 단일 단계에서 결합하는 DM-Align을 제안했다. 샘플 분포 차이로 선호 유도 그래디언트를 구성해 기존 강화학습 파이프라인의 계산량과 불안정성을 줄이는 것이 목표다.

장시간 동영상 멀티모달 모델에서 프레임 선택, 공간 압축, 절약한 예산의 재투자를 분리해 비교한 연구가 나왔다. 결과적으로 중요한 것은 프레임을 무조건 선명하게 만드는 것이 아니라, 질문과 관련된 시간적 증거를 더 넓게 확보하는 것으로 나타났다.

Google DeepMind가 Gemini에 Agentic Video Understanding을 도입했습니다. 모델이 영상, 오디오, 자막을 상황에 맞게 검색하고 다시 확인하며, 공식 벤치마크에서 토큰 사용량은 최대 88%, 비용은 최대 66% 줄고 정확도는 최대 7% 향상됐다고 밝혔습니다.

Luce는 기하 구조와 PBR 재질을 통합한 멀티모달 Gaussian 표현을 제안하고, 단일 이미지에서 재조명 가능한 3D 에셋을 생성합니다. PBR Gaussian과 함께 텍스처 메시 및 탄젠트 공간 노멀 맵도 선택적으로 출력할 수 있습니다.

고덕이 최근 12개 프레임만을 국소 문맥으로 활용해 긴 영상의 3D 장면을 순차적으로 재구성하는 모델 ABot-Recon을 공개했다. 장기 메모리 의존을 없애 장거리 시퀀스에서 발생하는 오차 누적, 속도 저하, 메모리 증가 문제를 줄이는 것이 핵심이다.

Google DeepMind가 Gemini Omni 1.1 Flash를 공개했다. 장면 연장, 시작·끝 프레임 지정, 360p 미리보기, 최대 4K 출력 등을 통해 생성형 동영상 제작의 반복 작업을 개선한다.

SparsePR은 재학습 없이 영상 생성 및 월드 모델의 어텐션 연산을 줄이는 희소 어텐션 기법입니다. 응답 결합 파티셔닝과 프로브 기반 잔차 재구성을 결합해 계산량을 낮추면서 출력 품질을 유지합니다.

InfinityEdit는 완성된 영상 클립을 프레임 단위로 다시 쓰는 대신, 편집 지시를 반영하면서 앞으로 이어질 영상 구간을 생성하는 방식을 제안합니다. 영상 이력, 시간적 인과성, 편집 텍스트를 연결하는 경량 어댑터로 스트리밍 영상 생성기에 편집 기능을 더합니다.

4DAnyone은 보정되지 않은 단안 인물 영상에서 시점 간 일관성이 높은 다중 시점 영상을 생성한 뒤 이를 4D Gaussian Splatting으로 변환합니다. 늘어나는 참조 정보와 분할된 시점 그룹 사이의 구조적 불일치를 두 가지 컨텍스트 설계로 해결하려 합니다.

알리바바의 영상 생성 모델 Wan 3.0이 공개 베타에 들어갔다. 가장 눈에 띄는 변화는 doc, ppt, pdf 같은 문서 파일을 직접 입력할 수 있다는 점으로, 영상 생성이 표현 도구에서 업무 도구로 확장되고 있다는 신호다.