NVIDIA, 인터랙티브 월드 시뮬레이션용 Cosmos 3 모델 4종 공개

월드 모델의 역할은 그럴듯한 영상을 한 번 생성하는 데 그치지 않는다. 에이전트의 행동과 환경 상태, 과거 관측을 반영해 다음에 무엇이 보일지 지속적으로 예측해야 한다. NVIDIA는 Cosmos 3 Nano를 기반으로 자율주행과 로봇 상호작용을 위한 오픈 웨이트 모델 4종을 공개하며, 영상 생성과 실제 시뮬레이션 흐름을 연결하려 했다.

핵심 내용

• Transfer-Auto: 제어 가능한 주행 데이터 생성. 최대 11개 카메라 시점과 어안 카메라를 지원하며, RGB와 LiDAR를 동기화해 생성할 수 있다. World Scenario Map으로 도로 구조와 교통 움직임을 지정하고, 텍스트 프롬프트로 날씨, 조명, 시간대 같은 외관을 바꾼다. 새로운 센서 구성이나 주행 영역에 맞춘 추가 훈련의 기반으로도 사용할 수 있다.
• Sim-Auto: 스트리밍 방식의 주행 시뮬레이션. Transfer-Auto를 인과 학습과 증류로 최적화한 모델이다. 주행 제어, 장면 제어, 생성된 과거 기록을 바탕으로 카메라와 LiDAR의 짧은 동기화 관측을 연속 생성한다. 폐루프 상호작용을 구성하려면 제어를 갱신할 시뮬레이션 런타임과 WSM 렌더러가 필요하다.
• Sim-Transfer: 시뮬레이터 상태를 RGB로 변환. 물리 시뮬레이터가 운동, 접촉, 물리 상태를 계산하고, 모델은 깊이, 세그멘테이션, 에지, 블러 같은 공간 제어와 텍스트를 이용해 정책이 사용할 RGB 영상을 만든다. 물리 계산과 시각적 표현을 분리하는 방식이다.
• Sim-Bimanual: 양팔 로봇 행동 이후를 예측. YAM과 AgiBot 형태를 지원하며, 초기 이미지와 양팔 행동 시퀀스로 다음 관측을 생성한다. 좌표계, 회전, 그리퍼 보정, 유효성 마스크, 시간 정렬 등 공개된 행동 표현 규칙을 따라야 한다.

기술적 특징과 한계

네 모델은 모두 Cosmos 3 Nano의 후훈련 사례이며 16B 학습 가능 파라미터를 갖는다. OpenMDW1.1을 사용하므로 상업적·비상업적 이용은 해당 라이선스 조건을 따라야 한다. Cosmos 3는 Mixture-of-Transformers 구조로 텍스트 처리 네트워크와 시각 생성 네트워크를 연결한다. 생성기는 제어 정보와 생성 이력을 바탕으로 짧은 영상 구간을 예측하고, 시간 인과 어텐션으로 미래 관측을 참조하지 않는다. 압축된 영상 잠재 표현과 KV 캐시는 연속 생성을 지원한다.

의미와 전망

이번 공개의 의미는 영상 생성을 일회성 렌더링이 아니라 ‘행동에서 관측으로 이어지는 순환’으로 다룰 수 있는 여러 인터페이스를 제공한다는 데 있다. 자율주행 정책은 시각 정보와 3D 센싱을 함께 받을 수 있고, 로봇 정책은 조작 이후의 결과를 관찰할 수 있다. 또한 물리 시뮬레이터와 생성 모델이 각각 상태 계산과 시각 표현을 나눠 맡을 수 있다.

다만 장시간 롤아웃에서 오차가 누적되는지, 생성 관측이 물리 상태와 일치하는지, 정책 학습과 평가에 충분히 신뢰할 수 있는지는 별도 검증이 필요하다. 오픈 웨이트라는 점이 새로운 센서와 환경으로의 적응을 돕더라도, 실제 활용에는 도메인별 추가 훈련과 체계적인 평가가 요구된다.

Hugging Face Blog