NVIDIA Cosmos-H-Dreams, 수술 로봇 세계 모델을 실시간 상호작용으로 확장

도입

수술 로봇은 원격 조작을 넘어 시각·언어·행동을 결합한 더 강력한 정책으로 이동하고 있다. 하지만 이런 시스템을 훈련하고 평가하는 일은 여전히 어렵다. 실제 로봇 플랫폼은 비용이 높고, 실험 재현은 느리며, 실패한 동작은 기구나 생체 재료를 손상시킬 수 있다. 기존 시뮬레이터는 더 안전하지만, 변형되는 조직, 봉합사, 바늘, 반사 표면, 연기, 가림, 미세한 도구 상호작용을 모두 정교하게 모델링하기 어렵다.

NVIDIA가 공개한 Cosmos-H-Dreams는 이 문제를 학습 기반 세계 모델로 풀려는 시도다. 모든 물체와 물리 상호작용을 수작업으로 작성하는 대신, 동기화된 수술 영상과 로봇 운동학에서 시각적 동역학을 학습하고, 사용자의 동작에 맞춰 수술 장면을 실시간으로 생성한다.

핵심 요점

• 오프라인 예측에서 실시간 폐루프로: Cosmos-H-Surgical-Simulator는 초기 장면과 미래 로봇 궤적을 받아 이후 수술 영상을 생성해 오프라인 정책 평가와 합성 데이터 생성에 활용됐다. Cosmos-H-Dreams는 이를 실시간 영역으로 옮겨, 초기 RGB 프레임과 라이브 로봇 운동학 스트림을 입력받아 다음 프레임 묶음을 자기회귀적으로 생성한다.
• dVRK 탁상 봉합에 특화: 공개 체크포인트는 da Vinci Research Kit의 탁상 봉합 작업에 맞춰졌다. 기존 수술 세계 모델이 학습한 다중 embodiment 사전지식을 기반으로, 양팔 dVRK의 상대적 이동, 회전, 그리퍼 상태를 공통 행동 표현으로 매핑한다.
• 실패 사례까지 포함한 학습: 교사 모델은 JHU dVRK 탁상 데이터 혼합으로 미세조정되며, 성공 시연뿐 아니라 바늘 낙하, 잘못된 throw, 매듭 실패 같은 실패 및 분포 밖 에피소드도 포함한다. 정책 평가용 시뮬레이터라면 이상적인 동작뿐 아니라 나쁜 행동의 결과도 재현해야 하기 때문이다.
• 증류로 생성 비용을 낮춤: Cosmos-H-Dreams는 교사-학생 훈련 파이프라인을 사용한다. 인과 warmup 단계에서 학생 모델은 스트리밍 attention과 KV cache 사용을 익히고, self-forcing distillation을 통해 배포 시처럼 자신의 생성 이력에 조건화된 상태에서도 안정적으로 동작하도록 훈련된다.
• FlashDreams가 실시간 추론을 담당: 실시간 성능은 모델 증류만으로 달성되지 않는다. FlashDreams는 스트리밍 KV cache, CUDA Graph 캡처, 모델 컴파일 등의 최적화를 적용해 단일 NVIDIA RTX PRO 6000에서 약 160 FPS의 상호작용 실행을 제공한다고 설명된다.

의미와 영향

중요한 변화는 단순히 그럴듯한 수술 영상을 만드는 데 있지 않다. 생성된 장면이 행동에 빠르고 일관되게 반응해야 하며, 사람 조작자나 학습된 정책이 폐루프 안에서 환경을 사용할 수 있어야 한다. 원문은 WebRTC 기반 브라우저 제어, WebXR을 통한 Meta Quest 연동, 학습형 수술 정책과의 연결을 예로 든다.

수술 로봇 연구에서는 위험한 동작을 실제 하드웨어에서 반복하기 전에 정책을 시험하고, 드문 실패 상황을 탐색하며, 추가 학습 데이터를 만들 수 있는 가능성이 열린다. 다만 신뢰할 수 있는 시뮬레이터가 되려면 시각 품질만으로는 부족하다. 도구 끝점의 도달 및 자세 정확도, 그리퍼 사이클 충실도, 정지 안정성, 반사실적 행동 다양성, 장기 드리프트, 시뮬레이션과 실제 정책 결과의 일치성을 평가해야 한다.

이런 검증이 축적된다면 실시간 세계 모델은 고위험 체화 AI 개발의 핵심 인프라가 될 수 있다. Cosmos-H-Dreams는 생성 비디오 예측을 수술 로봇용 상호작용 세계 모델로 확장하는 단계로 볼 수 있다.

출처: Hugging Face Blog