Hy-Nomas, 다중 턴 텍스트와 카메라 제어를 지원하는 세계 모델

들어가며

인터랙티브 세계 모델은 한 번의 프롬프트로 그럴듯한 영상을 만드는 것만으로 충분하지 않습니다. 사용자가 장면을 설명한 뒤 캐릭터나 물체의 행동을 지시하고, 다시 카메라를 움직이거나 새로운 명령을 내릴 수 있기 때문입니다. 이때 모델은 이전 상태와 행동의 결과를 기억하면서 다음 장면을 이어가야 합니다. Hy-Nomas는 이러한 다중 턴 상호작용을 겨냥해 설계된 비디오 세계 모델입니다.

핵심 내용

• 자유 형식 상호작용: 자연어 지시와 연속적인 카메라 제어를 지원합니다. 다음 비디오 세그먼트는 현재 입력과 캐시된 상호작용 기록을 함께 조건으로 생성됩니다.
• 가변 길이 생성: 출력 길이를 하나의 고정된 형식으로 제한하지 않고, 상호작용에 맞춰 서로 다른 길이의 세그먼트를 생성합니다. 캐시된 기록은 연속적인 결과를 연결하는 역할을 합니다.
• 장면 맥락과 행동의 분리: 구조화된 비디오 캡션과 행동 인식 인과 어텐션을 결합합니다. 설명적 맥락은 여러 세그먼트에서 접근할 수 있어 장면과 객체의 상태를 유지하고, 행동 지시는 의도된 시간 범위에만 적용됩니다. 이를 통해 과거 명령이 이후 결과를 과도하게 방해하는 문제를 줄이려 합니다.
• 비전-언어 Prompt Enhancer: 사용자의 요청과 멀티모달 상호작용 기록을 다음 세그먼트에 필요한 구조화 조건으로 변환합니다. 자연어에 포함된 장면, 행동, 제어 의도를 정리하는 중간 단계입니다.
• 단계적 학습 과정: 인과적 생성, 텍스트 상호작용, 카메라 제어, 모델이 생성한 기록을 이용한 학습을 순차적으로 도입한 뒤 확산 증류를 적용합니다.

의미와 한계

기존 영상 생성 모델은 단일 프롬프트에서 좋은 결과를 내더라도, 여러 번의 조작이 이어지면 인물과 객체의 동일성이 흔들리거나 장면이 초기화되고 행동이 연결되지 않는 문제가 나타날 수 있습니다. Hy-Nomas는 지속적으로 보존해야 하는 세계 정보와 현재 실행할 행동을 서로 다른 방식으로 다루며, 독립적인 짧은 영상 생성기에서 계속 조작 가능한 시뮬레이션으로 나아가는 한 가지 설계 방향을 보여줍니다.

제공된 자료에 따르면 Hy-Nomas는 사람을 대상으로 한 평가에서 기존 세계 모델보다 우수한 결과를 보였습니다. 다만 구체적인 수치는 제시되지 않았으므로, 장기적 일관성 문제가 완전히 해결됐다고 해석해서는 안 됩니다. 모델 가중치, 코드, 벤치마크, 경량화 적응 워크플로를 공개한 점은 역사 캐싱, 인과 어텐션, 프롬프트 구조화, 카메라 제어를 재현 가능한 방식으로 연구할 수 있게 한다는 데 의미가 있습니다.

게임 프로토타이핑, 가상 공간 제작, 체화형 상호작용 연구 등에 활용될 가능성이 있지만, 계산 비용과 응답 속도, 물리적 신뢰성, 장기 기억은 여전히 해결해야 할 과제입니다.

출처: Hugging Face Daily Papers