ThinkWorld, 세계 상상으로 로봇 행동 추론 강화

배경

비전·언어·행동(VLA) 모델은 로봇이 자연어 지시를 이해하고 물체를 조작하는 능력을 빠르게 높이고 있다. 그러나 모델의 일반화 성능은 여전히 행동 라벨이 있는 로봇 시연 데이터의 양과 범위에 크게 좌우된다. 실제 로봇 데이터를 수집하는 일은 비용이 높고, 특정 로봇 형태와 제한된 환경에 편중되기 쉽다. 반면 인간 영상에는 훨씬 다양한 행동과 상황이 담겨 있지만, 로봇이 그대로 실행할 수 있는 명시적 행동 신호는 대체로 제공되지 않는다.

ThinkWorld는 인간 영상을 로봇 동작으로 직접 번역하는 대신, 행동이 세계를 어떻게 변화시키는지 학습하는 방향을 택한다. 세계 모델의 미래 예측과 강화학습을 결합해, 어떤 행동 추론이 관찰된 결과를 가장 잘 설명하는지 평가하는 구조다.

핵심 표현: Chain-of-Dynamics

ThinkWorld의 중심 개념은 Chain-of-Dynamics(CoD)다. CoD는 이산적인 운동 토큰을 연속으로 배열해 현재 세계 상태에서 미래 상태로 이어지는 중간 변화를 표현한다. 특정 로봇의 관절 명령이나 제어 인터페이스를 그대로 나타내는 것이 아니라, 행동이 만들어내는 상태 전이에 초점을 둔다. 따라서 서로 다른 형태의 로봇 사이에서도 공유할 수 있는 행동 표현으로 활용될 수 있다.

학습 과정은 크게 세 단계로 나뉜다.

• 먼저 행동 라벨이 있는 로봇 시연을 사용해 CoD를 초기화하고, 행동과 상태 변화 사이의 기본 관계를 학습한다.
• 다음으로 각 후보 CoD가 실행됐을 때 나타날 미래 상태를 예측한다. 모델 내부에서 결과를 미리 시험하는 ‘세계 상상’ 단계다.
• 마지막으로 예측된 미래와 영상 또는 시연에서 실제 관찰된 결과를 비교하고, 일치도가 높은 동적 연쇄를 강화한다.

이 방식은 행동 라벨이 없는 인간 영상에도 직접적인 학습 신호를 부여한다. 영상에 행동 명령이 기록되어 있지 않더라도, 행동 전후의 상태 변화가 보인다면 그 변화가 어떤 동적 연쇄와 일치하는지 평가할 수 있다. 인간의 경험과 로봇의 경험이 서로 다른 몸체를 거치더라도 동일한 추론 공간을 함께 갱신할 수 있다는 점이 핵심이다.

의미와 한계

ThinkWorld가 제시하는 관점은 VLA 학습의 목표를 “주어진 행동 라벨을 재현하는 것”에서 “행동의 결과를 예측하고 설명하는 것”으로 확장한다. 로봇이 인간 손의 움직임을 정확히 복사하지 못하더라도, 물체에 접근하고 접촉하고 밀거나 목표 위치로 옮기는 동적 관계는 추상화해 공유할 수 있다. 이는 인간 영상의 활용도를 높이고, 서로 다른 로봇 형태 사이의 전이를 돕는 기반이 될 수 있다.

논문은 시뮬레이션과 실제 로봇 실험에서 인간 행동의 로봇 전이를 보여주고, 보지 못한 작업과 환경에도 대응하는 결과를 보고한다. 다만 제공된 자료에는 작업 수, 성공률, 경쟁 방법과의 상세한 정량 비교가 제시되어 있지 않다. 따라서 이 결과를 일반화 성능에 대한 최종적인 결론이라기보다, 세계 동역학을 중심에 둔 학습 방식의 가능성을 보여주는 검증으로 해석하는 편이 적절하다.

앞으로는 긴 시간 범위에서의 미래 예측, 가림과 시점 변화, 접촉 과정의 불확실성을 해결해야 한다. 이러한 문제가 개선된다면 CoD와 같은 표현은 인간 영상, 로봇 시연, 범용 체화 지능을 연결하는 중간 계층으로 발전할 가능성이 있다.

출처: Hugging Face Daily Papers