아티클 목록으로

Code World Model 2.0, 구조 프록시로 제어 가능한 영상 생성

약 3분 소요

개요

명시적인 세계 상태를 일관되고 사실적인 영상으로 바꾸는 일은 실용적인 월드 모델의 핵심 과제입니다. Code World Model 2.0은 이 렌더링 단계를 Invoker-Render로 다룹니다. 구조 프록시와 외관 참조 이미지, 텍스트 프롬프트를 입력으로 받아 영상 생성을 안내합니다. 이 시스템은 오프라인 클립 제작뿐 아니라 실시간 상호작용형 스트리밍도 목표로 합니다.

핵심 내용

  • 세밀도가 다른 입력을 지원하는 인터페이스. 구조 프록시는 대략적인 배치 정보일 수도 있고, 관절 구조까지 담은 정교한 표현일 수도 있습니다. 논문 설명에 따르면 세밀한 프록시가 주어지면 기하학적 제약을 따르고, 거친 프록시만 있을 때는 그럴듯한 국소 움직임을 만들어 냅니다. 예를 들어 거친 입력으로 캐릭터의 이동 경로를 정하고 자연스러운 보행을 생성하게 하거나, 더 자세한 프록시로 팔다리 움직임을 안내할 수 있습니다. 필요한 제어 수준에 따라 입력의 상세도를 조절하는 방식입니다.
  • 제작과 스트리밍을 위한 두 가지 모델. Invoker-Render는 양방향 영상 제작 모델과 인과적으로 동작하는 4단계 스트리밍 모델을 함께 둡니다. 두 모델은 구조 프록시, 참조 이미지, 언어를 조건으로 공유합니다. 이를 통해 유연한 영상 제작과 낮은 지연의 생성을 상황에 맞게 선택하려는 구상입니다. 학습에는 여러 세밀도 수준을 정렬한 약 200시간 분량의 데이터가 사용됐습니다.
  • 긴 롤아웃을 위한 Progressive Forcing. ProForcing은 먼저 인과 예측기를 학습하고, 학습 영상에서 얻은 이력을 이용해 이를 4단계 렌더러로 증류합니다. 이후에는 모델이 직접 만든 이력을 계속 사용하는 롤아웃 학습으로 전환합니다. 적은 생성 단계로 스트리밍할 때 과거 출력의 오류가 누적되는 현상을 줄이고, 모델이 자기 생성 결과를 이어받는 조건에 적응하도록 하는 것이 목적입니다. 스트리밍 추론을 지원하는 파이프라인 서빙 스택도 함께 제시됐습니다.

의미와 한계

많은 영상 생성 모델이 텍스트나 이미지 프롬프트에 주로 의존하는 것과 달리, 구조 프록시는 공간 배치와 움직임을 명시적으로 지정할 수 있습니다. 게임이나 가상 환경, 주행 시뮬레이션에서는 상위 시스템이 세계 상태를 관리하고 렌더러가 시각적 표현을 담당하도록 역할을 나누는 데 도움이 될 수 있습니다. 또 매번 정교한 형상을 준비하지 않아도, 더 거친 표현으로 합리적인 움직임을 얻을 가능성을 제시합니다.

제공된 설명은 다양한 프록시 종류와 세밀도, 카메라 경로에서 실험했으며 최근 스트리밍 기준선보다 일관된 개선을 보였다고 전합니다. 입력 궤적을 따르면서 자동차와 장면의 시각적 일관성을 유지하는 30분 레이싱 데모도 소개합니다. 다만 구체적인 평가 수치나 하드웨어 조건, 다양한 상황에서의 실패 사례는 공개된 자료에 포함되어 있지 않습니다. 따라서 ‘무한’ 제어를 입증한 결과라기보다 장시간 제어 가능한 영상 생성을 향한 목표로 이해해야 합니다. 급격한 동작 변화와 여러 작업에서의 안정성은 추가 검증이 필요합니다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
코드가 세계를 만든다면, 비디오 모델은 렌더링만 할 수 있을까
월드 모델
cctest.ai
월드 모델

코드가 세계를 만든다면, 비디오 모델은 렌더링만 할 수 있을까

WorldDraft는 프로그램으로 정의된 4D 세계의 움직임과 카메라 경로를 유지하면서 비디오 모델이 텍스트로 지정된 외관을 구현할 수 있는지 평가한다. 결과는 세계 보존과 외관 충실도의 균형이 여전히 어렵다는 점을 보여준다.

더 보기