H3-World: 동영상 생성 모델을 인터랙티브 세계 모델로

들어가며

동영상 생성 모델은 프롬프트에 맞는 장면을 한 번 만드는 도구에서, 사용자의 지시에 따라 계속 반응하는 인터랙티브 시스템으로 확장되고 있다. H3-World는 MiniMax-H3에 이미 형성된 언어·영상 의미 표현을 활용해 이 모델을 상호작용 가능한 세계 모델로 전환하려는 연구다.

핵심은 키보드 행동을 처리하는 새로운 인터페이스를 처음부터 만드는 것이 아니다. 키보드식 조작을 MiniMax-H3가 이해할 수 있는 자연어로 바꾸고, 사전 학습된 텍스트 경로를 통해 생성 과정에 주입한다. 따라서 대규모 영상 사전 학습에서 얻은 능력을 제어 문제에 재사용할 수 있다.

행동의 내용뿐 아니라 시점까지 제어

MiniMax-H3는 자연어만으로 캐릭터의 행동과 카메라 움직임을 어느 정도 제어할 수 있다. 하지만 한 영상에서 여러 행동이 순서대로 발생할 때 일반적인 프롬프트는 각 지시가 언제 시작되고 끝나는지 명확히 표현하기 어렵다. 그 결과 한 행동의 영향이 다른 시간 구간으로 번지는 제어 누출이 발생할 수 있다.

H3-World는 각 행동을 캐릭터 지시와 카메라 지시의 구조화된 조합으로 표현한다. 이후 해당 지시를 영상 잠재 표현의 알맞은 시간 구간과 정렬한다. 또한 시간 주의 라우팅을 도입해 각 지시가 의도한 구간에 집중하도록 제한한다. 이는 “무엇을 할 것인가”를 넘어 “언제 할 것인가”까지 모델에 전달하는 방식이다.

주요 구성

• 언어 중심 제어: 키보드 행동을 텍스트 지시로 바꾸고 MiniMax-H3의 기존 텍스트 경로에 입력한다.
• 캐릭터·카메라 공동 제어: 캐릭터의 움직임과 이를 촬영하는 카메라의 동작을 함께 정의한다.
• 시간적 정렬: 서로 다른 행동을 서로 다른 잠재 구간에 배치해 간섭을 줄인다.
• 효율적인 적응: 8,000개의 게임플레이 샘플, 10,000회의 LoRA 최적화 단계, 0.199%의 학습 가능 파라미터를 사용한다.
• 일반화 가능성: 보고된 결과에 따르면 보지 못한 행동 조합과 시각적 장면에서도 제어가 가능하다.

의미와 한계

H3-World는 영상 생성 모델을 세계 모델로 확장하는 비교적 효율적인 경로를 제시한다. 새로운 행동 모듈을 대규모로 붙이는 대신, 기존 모델이 가진 언어 이해와 시각적 의미 표현을 활용하고 소규모 적응으로 상호작용 계층을 연결한다. 자연어를 제어 인터페이스로 삼으면 새로운 행동을 조합하거나 지시하는 방식도 유연해진다.

다만 제공된 자료에는 세부 벤치마크 수치, 실제 상호작용 지연 시간, 장기 상태 일관성에 대한 평가가 포함되어 있지 않다. 따라서 이 연구는 실시간 세계 시뮬레이션의 모든 문제를 해결한 결과라기보다, 대형 영상 생성 모델에서 나타난 언어 제어 능력을 시간적으로 정밀한 인터랙션으로 전환할 수 있음을 보여주는 유의미한 시도라고 보는 편이 정확하다.

Hugging Face Daily Papers