DreamFree, 비디오 모델의 미래 예측을 실시간 로봇 제어로 증류

로봇이 현실 세계에서 안정적으로 작업하려면 현재 장면을 인식하는 것만으로는 부족합니다. 물체와 환경이 다음 순간 어떻게 변할지 예측하고, 그 예측을 바탕으로 행동해야 합니다. World Action Model(WAM)은 비디오 모델이 학습한 세계 변화에 대한 지식을 로봇 제어에 활용하려는 접근입니다.

기존 방식 중 하나는 미래 비디오를 생성한 뒤 그 결과를 이용해 행동을 계획하는 것입니다. 그러나 비디오 확산 모델의 반복적인 디노이징은 많은 계산을 요구합니다. 생성된 미래가 실제 상황과 다르면 그 오차가 행동 예측으로 이어질 수도 있습니다.

DreamFree는 미래 프레임을 직접 생성하는 대신 미래 표현을 예측합니다. 연구진은 사전 학습된 비디오 확산 모델을 고정된 교사 모델로 사용합니다. 교사 모델은 미래 비디오를 보고 시각 표현을 만들고, 별도의 인코더는 현재 관측만 입력받아 그 표현을 예측하도록 학습됩니다. 따라서 추론 시 미래 장면을 렌더링하지 않아도 장면 변화에 관한 예측 정보를 현재의 시각 표현에 담을 수 있습니다.

다음 단계에서는 로봇 시연과 행동 라벨을 사용해 행동 모듈을 학습합니다. 이 모듈은 시각 인코더의 표현에서 제어와 관련된 정보를 추출하고, 행동 디코더를 통해 로봇 동작을 예측합니다. 반면 시각 인코더 자체는 행동 라벨 없이 비디오만으로 학습할 수 있습니다. 이는 로봇 행동 데이터보다 확보하기 쉬운 다양한 비디오를 활용할 가능성을 열어줍니다.

소재에서 제시된 주요 결과는 다음과 같습니다.

• DROID만으로 학습하고 태스크별 추가 미세 조정을 하지 않은 평가에서, 10개 실제 세계 태스크의 성공률 64%를 기록했습니다.
• 14B 비디오 백본을 사용할 때 단일 H200에서 11Hz 폐루프 제어가 가능했으며, DreamZero보다 추론 속도가 17.8배 빠르다고 보고됐습니다.
• 추론 중 미래 비디오 생성과 classifier-free guidance를 사용하지 않으면서도 14B 모델을 48GB 메모리의 단일 A6000에 탑재할 수 있습니다.
• 백본을 5B에서 14B로 확장하면 제어 성능이 개선됐고, 추가 비디오 데이터 역시 더 많은 행동 라벨 없이 성능 향상으로 이어졌습니다.
• 서로 다른 로봇 형태로 수집된 시연 비디오를 포함해, 새로운 태스크 시퀀스를 비디오만으로 학습할 수 있다고 보고됐습니다.

이 연구가 보여주는 핵심은 비디오 기반 세계 모델을 매 순간 실행하는 비싼 시뮬레이터로 사용하지 않아도 된다는 점입니다. 미래에 대한 예측 구조를 시각 표현에 증류하면, 미래 비디오 생성 비용을 줄이면서도 비디오 모델의 규모와 데이터에서 얻는 이점을 행동 정책으로 전달할 수 있습니다.

다만 제공된 자료에는 태스크별 세부 결과, 실패 사례, 학습 비용, 비디오 데이터 구성에 대한 정보가 충분히 포함돼 있지 않습니다. 더 긴 시간 범위와 복잡한 조작, 다양한 로봇 형태에서 같은 효과가 재현되는지는 전체 논문의 실험을 통해 확인해야 합니다. 그럼에도 DreamFree는 예측 능력을 유지하면서 생성 비용을 줄이는 실시간 로봇 제어의 한 가지 명확한 방향을 제시합니다.

출처: Hugging Face Daily Papers