InternW0, 예측을 실행 가능한 제어로 확장하는 물리 세계 모델

들어가며

로봇을 위한 세계 모델은 다음 장면을 그럴듯하게 예측하는 데서 끝나서는 안 된다. 환경이 계속 변하고 관측이 불완전한 상황에서도 예측이 행동으로 이어져야 하며, 새로 들어온 정보에 따라 제어를 빠르게 수정할 수 있어야 한다. 상하이 인공지능 연구소가 제시한 InternW0는 이러한 예측과 제어 사이의 간극을 줄이려는 물리 세계 모델이다. InternW 물리 세계 모델 시리즈의 첫 구현으로, 현실 상호작용에서 필요한 비동기 처리와 효율적인 행동 갱신을 핵심 과제로 삼는다.

핵심 설계

InternW0의 특징은 영상 예측과 행동 생성을 동일한 속도로 처리하지 않는 데 있다.

• 서로 다른 시간尺度의 전문가: 고용량 비디오 전문가는 더 긴 시간 범위의 미래 동역학과 컨텍스트를 제공한다. 반면 경량 행동 전문가는 더 빠른 주기로 연속적인 로봇 제어를 출력한다. 장기적인 상황 이해는 유지하면서 제어 갱신마다 전체 비디오 생성 과정을 반복하지 않으려는 구조다.
• 미래 상태의 반복 생성 축소: 새로운 관측이 들어올 때마다 미래를 처음부터 다시 생성하는 대신, 모델은 계층별 K/V 캐시를 재사용한다. 관측 조건부 컨텍스트 라우팅을 통해 기존 예측을 새 상태에 맞게 조정한다.
• 이기종 로봇을 위한 인터페이스: 도메인별 인터페이스와 소프트 프롬프트를 활용해 로봇 본체, 센서, 제어 표현의 차이를 다룬다. 서로 다른 구현체를 하나의 물리 모델 프레임워크 안에서 처리하려는 접근이다.
• 접촉 정보 반영: 시각 정보만으로는 도구가 물체에 닿았는지, 힘이 적절한지, 조작이 안정적인지를 충분히 알기 어려울 수 있다. InternW0는 후속 학습 단계에서 힘과 촉각 신호를 추가해 접촉이 많은 작업에 대응한다.

데이터와 평가

InternW0는 로봇 데이터와 1인칭 시점 데이터를 합친 약 7,200시간의 이질적인 자료로 학습됐다. 여기에는 실제 실험실에서 수집한 275시간 규모의 1인칭 시점 데이터셋 EgoLab이 포함된다. 평가는 시뮬레이션 벤치마크와 실제 과학 작업을 모두 포함한다. 예시로 15단계 금속-유기 골격체 합성 워크플로와, 접촉 및 힘 인지가 필요한 5단계 범용 정량 피펫팅 조작이 제시됐다.

다만 현재 제공된 소재에는 상세한 결과표, 비교 기준, 모든 작업에 공통으로 적용되는 지표가 없다. 따라서 다른 방법보다 얼마나 우수한지 수치로 단정하기는 어렵다. 그럼에도 다단계 실행, 실험실 환경, 액체와 도구를 정밀하게 다루는 접촉 작업을 평가 대상으로 삼았다는 점은 단순한 단기 동작을 넘어 실제 활용 조건을 고려했다는 의미가 있다.

의미와 남은 과제

InternW0의 중요한 점은 장기 예측과 고주파 제어를 서로 다른 계산 작업으로 나누고, 캐시 재사용과 라우팅으로 연결했다는 데 있다. 큰 모델은 미래에 대한 넓은 관점을 유지하고, 작은 행동 모델은 최신 관측에 맞춰 빠르게 움직임을 갱신한다. 이 방식은 매 제어 주기마다 무거운 미래 예측을 처음부터 다시 계산해야 하는 부담을 낮출 가능성이 있다.

이 구조는 실험실 자동화와 특히 잘 맞는다. 과학 실험은 여러 단계의 순서를 따라야 하지만, 피펫팅처럼 정밀한 작업에서는 작은 접촉 상태와 힘의 차이가 결과에 영향을 줄 수 있다. 힘과 촉각을 후속 학습에 포함한 것은 시각 중심 제어의 한계를 현실적으로 보완하려는 시도로 볼 수 있다.

앞으로는 로봇 간 전이의 안정성, K/V 재사용이 줄이는 지연 시간, 각 구성 요소의 실제 기여도를 확인해야 한다. 완전한 논문의 소거 실험과 실패 분석이 필요하지만, InternW0는 물리 세계 모델이 오프라인 미래 생성에서 지속적으로 갱신되는 행동 중심 예측으로 이동하는 한 방향을 보여준다.

출처: Hugging Face Daily Papers