WorldFoundry: 월드 모델 연구를 위한 재현 가능한 통합 인프라

서론: 시각적 그럴듯함을 넘어

이미지와 비디오 생성 모델은 매우 자연스러운 결과를 만들 수 있지만, 그것만으로 환경을 이해하거나 시뮬레이션한다고 말하기는 어렵다. 생성된 장면이 plausible해 보여도 물체와 환경의 상태를 지속적으로 유지하지 못하거나, 사용자의 행동에 대해 인과적으로 일관된 변화를 제시하지 못할 수 있다. WorldFoundry는 시각적 합성과 측정 가능한 월드 인텔리전스 사이의 간극을 연구 인프라 차원에서 다루려는 프로젝트다.

생성형 월드 모델의 기준

논문은 생성형 월드 모델을 예측 동역학 시스템으로 정의하며 다음과 같은 조건을 제시한다.

• 상호작용 이력에 기반한 지속적 환경 표현을 유지할 것;
• 행동, 개입 또는 반사실적 변화에 따라 내부 상태를 갱신할 것;
• 개입의 결과를 반영하는 시간적 일관성 있는 궤적을 생성할 것.

이 정의를 바탕으로 지각적 접지, 지속 상태 모델링, 제어 가능한 변환, 동역학 인지 예측, 폐루프 상호작용이라는 능력 영역을 제안한다. 평가의 초점은 단일 이미지의 품질에서 벗어나, 모델이 맥락을 기억하고 환경의 변화를 이해하며 반복적인 행동에 대응할 수 있는지로 확장된다.

WorldFoundry가 통합하는 과정

비디오, 3D/4D, 체화 행동, 인터랙티브 월드 시스템은 입력 형식과 실행 의미론, 출력 표현, 평가 프로토콜이 서로 다르다. 연구자는 모델과 벤치마크를 찾는 것뿐 아니라 의존성, 에셋, 런타임 설정, 결과 저장, 시각화까지 준비해야 한다. 이런 분절된 작업 흐름은 시스템 간 공정한 비교를 어렵게 만들며, 통합이 되지 않아 실행하지 못한 경우와 모델 성능이 낮은 경우를 혼동하게 한다.

WorldFoundry는 모델 및 벤치마크 탐색, 런타임과 에셋 준비, 실행 오케스트레이션, 산출물 관리, 인터랙티브 시각화를 하나의 오픈소스 기반으로 연결한다. 동시에 모달리티별 어댑터를 사용해 각 시스템의 고유한 입력과 실행 방식, 출력 형식, 평가 절차를 보존한다. 명시적 매니페스트와 내구성 있는 산출물 계약, 증거 기반 스코어카드는 실행 준비 상태와 평가 결과를 별도로 기록한다. 즉, 시스템이 실행된다는 사실과 특정 능력이 입증됐다는 주장은 서로 다른 판단이며, 후자는 관련 산출물과 평가 절차로 확인되어야 한다.

의미와 남은 과제

WorldFoundry의 핵심 기여는 새로운 생성 모델을 제시하는 데 있지 않다. 분산된 모델, 벤치마크, 지표, 실행 파이프라인을 재현 가능한 과정에 배치해 월드 모델 연구의 비교 기반을 마련하는 데 있다. 이를 통해 시각적 품질뿐 아니라 지속 상태, 제어 가능성, 동역학 예측, 폐루프 상호작용을 함께 평가하는 방향을 강화할 수 있다.

다만 인프라에 기록된 실행 증거가 곧 모델 능력의 증명은 아니다. 실제 결론은 선택한 모델, 과제, 벤치마크와 평가 프로토콜에 좌우된다. WorldFoundry의 중요한 역할은 이러한 조건과 근거를 분명히 드러내고, 서로 다른 시스템을 검증 가능한 방식으로 비교하도록 돕는 것이다.

Hugging Face Daily Papers