FRED, 자기 증류로 월드 액션 모델의 미래 표현 개선

들어가며

로봇이 낯선 환경에서 작업하려면 현재 화면에 즉각 반응하는 것만으로는 부족하다. 어떤 행동을 실행한 뒤 장면과 물체가 어떻게 변할지 예측하고, 그 결과를 다음 제어에 반영해야 한다. 월드 액션 모델(World Action Models, WAMs)은 사전학습된 비디오 확산 모델의 풍부한 시공간 지식을 활용해 미래 시각 상태와 로봇 행동을 연결하려는 접근이다.

문제는 추론 비용이다. 일반적인 비디오 확산 모델은 여러 번의 디노이징 과정을 거쳐야 하므로 폐루프 로봇 제어에 그대로 적용하기 어렵다. 최근의 WAM은 한 번의 디노이징에서 중간 미래 비디오 표현을 추출한 뒤, 별도의 행동 디코더에 전달하는 방식을 사용한다. 속도는 높일 수 있지만, 행동 예측 성능이 해당 미래 표현의 품질에 크게 의존한다는 한계가 남는다.

FRED의 핵심

논문이 제안한 FRED는 Future REpresentation learning via self-Distillation with temporal context의 약자다. 완성된 미래 영상을 생성하려 하기보다, 노이즈에서 행동 예측에 유용한 미래 표현을 직접 추정하도록 모델을 훈련한다.

• 실제 미래 관측을 학습 목표로 사용: 정답에 해당하는 미래 관측에서 표현을 추출해 구체적인 감독 신호로 삼는다.
• 자기 증류 적용: 노이즈 입력으로부터 실제 미래에 대응하는 표현을 예측하게 해 한 번의 디노이징 결과를 개선한다.
• 시간적 맥락 제공: 현재 장면뿐 아니라 짧은 과거 관측도 조건으로 넣어 물체의 움직임과 작업 진행 상황을 파악하게 한다.
• 행동 디코더와 결합: 개선된 미래 표현을 별도 행동 디코더에 전달해 효율적인 WAM 추론 구조를 유지한다.

실험 결과와 의미

논문에 따르면 FRED는 다양한 실제 로봇 조작 시나리오에서 비교 대상 WAM을 일관되게 앞섰다. 특히 여러 단계로 이어지는 장기 작업과 훈련 분포 밖의 환경에서 개선 폭이 컸다. 이는 미래 표현의 품질이 단순히 영상 예측을 그럴듯하게 만드는 데 그치지 않고, 여러 차례의 의사결정 과정에서 오차가 누적되는 문제를 줄이는 데도 관련될 수 있음을 보여준다.

인간에서 로봇으로의 기술 전이 실험도 주목할 만하다. 대상 작업은 로봇 학습 데이터에 포함되지 않았고, 인간이 촬영한 비디오로만 시연됐다. 이 조건에서 FRED의 작업 성공률은 50.0%였으며, 가장 우수한 비교 WAM은 19.4%였다. 미래 상태와 행동의 결과를 담은 표현을 학습할 수 있다면, 인간 시각 시연에서 로봇 제어로 기술을 옮길 가능성이 커진다는 WAM의 방향성을 뒷받침하는 결과다.

영향과 남은 질문

FRED의 핵심 의의는 완전한 미래 영상을 생성하는 대신 행동 예측에 직접 유용한 미래 표현을 최적화한다는 점이다. 비디오 모델의 시공간 사전 지식을 유지하면서도 추론 시 반복적인 영상 생성 비용을 줄이는 절충안으로 볼 수 있다. 또한 시각적 미래 예측과 로봇 행동 결정을 연결하는 설계 원칙도 제시한다.

다만 제공된 자료만으로는 모델 규모, 데이터 구성, 실제 추론 지연, 작업별 세부 결과를 확인할 수 없다. 다른 로봇 플랫폼과 센서, 더 긴 작업 절차에서도 같은 효과가 유지되는지는 전체 논문과 후속 재현 연구가 필요하다. 앞으로 효율적인 월드 모델을 평가할 때는 미래 표현이 얼마나 자연스러운지뿐 아니라, 실제 행동 결정을 얼마나 안정적으로 지원하는지도 중요한 기준이 될 전망이다.

출처: Hugging Face Daily Papers