Zing-0.5, 텍스트와 키보드로 조작하는 생성 세계

생성형 비디오 모델은 장면을 만들어 보여주는 데는 강하지만, 사용자가 그 세계를 이동하고 도중에 명령을 내리며 결과에 다시 반응하는 경험을 만들기는 어렵습니다. Zing-0.5는 생성된 세계를 단순히 시청하는 것이 아니라 직접 탐험하고 조작할 수 있도록 설계된 50억 파라미터 자기회귀 세계 모델입니다.

핵심 내용

• 키보드와 텍스트의 통합 제어: 모델은 입력 강도를 반영한 키보드 조작, 시간적으로 정렬된 텍스트 지시, 공동 주석 영상 데이터를 하나의 시퀀스에서 학습합니다. 키보드로 이동하면서 텍스트로 진행 중인 이벤트를 바꾸는 방식입니다.
• 이벤트 단위 감독: 여러 프롬프트로 연결된 영상을 사용해 세그먼트 수준의 교사 모델을 학습한 뒤, 블록 단위 인과 학생 모델에 분포 매칭 증류를 적용합니다. 개별 프레임의 품질만이 아니라 사건이 이어지는 흐름을 유지하는 것이 목표입니다.
• 실시간·저비용 상호작용: 4단계 생성과 문맥 보존 스트리밍을 결합해 832×480 해상도에서 24 FPS 추론을 지원합니다. 논문은 스트림 1분당 약 0.009달러의 서버 임대 비용을 추정합니다.

평가와 시연

Zing-0.5는 158개 WBench Navigation 사례에서 총점 81.0, 일관성 점수 88.5를 기록했습니다. 공동 제어 시연에서는 사용자가 계속 이동하는 동안 텍스트 명령으로 특정 이벤트를 변경합니다. 생성 과정을 다시 시작하지 않고 이어갈 수 있다는 점은 텍스트가 초기 장면 설명을 넘어 실행 중 제어 신호로 사용된다는 것을 보여줍니다.

의미와 한계

이 모델의 핵심 의미는 세계 생성과 세계 조작을 하나의 자기회귀 루프 안에서 다루려는 데 있습니다. 게임 프로토타이핑, 탐험형 스토리, 체화형 에이전트 연구에서는 키보드와 자연어를 함께 쓰는 인터페이스가 단일 행동 입력보다 유연할 수 있습니다. 또한 이벤트 단위 감독은 세계 모델을 평가할 때 한 프레임의 그럴듯함뿐 아니라 시간에 따른 사건의 연속성도 봐야 한다는 방향을 제시합니다.

다만 제공된 자료에는 전체 학습 데이터, 장시간 생성에서의 실패 사례, 하드웨어별 성능 비교가 포함되어 있지 않습니다. 따라서 Zing-0.5를 장기 일관성과 복잡한 세계 규칙을 완전히 해결한 모델로 보기보다는, 플레이 가능한 생성 세계를 탐색하는 공개 연구로 이해하는 편이 정확합니다. 모델 가중치, 추론 코드, Zing-SGLang 서빙 구현의 공개는 후속 재현과 비교를 위한 기반을 제공합니다.

출처: Hugging Face Daily Papers