LaLa-World, 자연어 행동으로 다중 영역 잠재 세계 모델 통합

들어가며

세계 모델은 에이전트가 실제로 행동하기 전에 가능한 미래를 내부적으로 예측하도록 돕습니다. JEPA 스타일의 잠재 세계 모델은 미래 영상을 픽셀 단위로 생성하는 대신 압축된 시각 표현을 예측해 계획 비용을 낮춥니다. 그러나 많은 모델이 특정 시뮬레이터, 로봇 또는 과제에 맞춰 학습되기 때문에 서로 다른 데이터 소스를 하나로 활용하기는 어려웠습니다.

LaLa-World는 이 문제를 자연어 기반 인터페이스로 풀려고 합니다. 시뮬레이션과 로봇 궤적뿐 아니라 더 넓은 이미지·동영상 데이터를 언어 조건부 잠재 세계 모델에 함께 학습시키는 방식입니다.

핵심 설계

이 방법의 중심 아이디어는 두 가지입니다.

• 행동 형식을 자연어로 통일한다. 수치 제어 신호를 자연어로 설명하고, 화면에서 발생하는 시각적 변화도 언어로 표현합니다. 서로 다른 행동 공간과 데이터 형식을 하나의 조건 표현으로 맞출 수 있습니다.
• 언어 모델을 미래 예측기로 사용한다. 언어 조건을 해석한 뒤 그 행동 이후의 미래 시각 잠재 상태를 예측합니다. 모델 예측 제어에서는 잠재 공간에서 여러 후보 미래를 빠르게 전개하고, 그 결과를 이용해 행동 시퀀스를 선택할 수 있습니다.

목표는 고화질 영상을 재현하는 것이 아닙니다. 로봇 계획에서 중요한 것은 행동 뒤에 물체와 장면이 어떻게 변하는지입니다. 따라서 제어에 필요한 정보를 잠재 표현으로 예측하면 모든 미래 프레임을 생성하는 것보다 효율적일 수 있습니다.

보고된 성능

논문에 따르면 여러 영역에서 학습한 하나의 LaLa-World 예측기는 영역이나 과제별로 따로 학습한 잠재 세계 모델보다 평균 MPC 계획 성능이 높았습니다. 이미지와 동영상 데이터를 추가하면 평균 계획 성능이 더 좋아지고, 행동을 표현하는 문장이 달라져도 더 안정적으로 작동했습니다.

RAEv2 기반 영상 생성 모델과 조건을 맞춘 비교에서는 계획 성능이 비슷했지만, 학습 비용은 6분의 1 수준이었고 계획 속도는 13.9배 빨랐습니다. 이는 제어에 필요한 미래 정보를 잠재 공간에서 예측하면 영상 생성 전체에 드는 비용을 피할 수 있음을 보여주는 결과입니다.

사전 학습한 LaLa-World는 LaLa-Policy의 초기화에도 사용됩니다. LaLa-Policy는 로봇 행동과 미래 시각 표현을 함께 예측하며, LIBERO와 RoboCasa에서 Cosmos Policy와 경쟁력 있는 결과를 보였습니다. 추론 속도는 최대 5.5배 빨라졌다고 보고됐습니다.

의미와 과제

LaLa-World는 자연어를 세계 모델 학습을 위한 정렬 계층으로 활용할 수 있음을 보여줍니다. 데이터셋마다 다른 행동 공간에 맞춰 별도 모델을 만드는 대신, 행동과 시각적 전이를 공통 언어 인터페이스로 바꾸고 더 다양한 경험을 하나의 예측기에 제공하는 접근입니다.

다만 제공된 자료에는 과제별 상세 점수, 데이터 규모, 실패 사례가 포함되어 있지 않습니다. 따라서 이번 결과는 방법론의 가능성을 보여주는 근거로 해석해야 하며, 모든 로봇 환경에서의 성공을 보장하는 결론은 아닙니다. 자연어 행동 설명의 정확성, 잠재 상태에 핵심 제어 정보가 보존되는지, 오프라인 예측과 실제 로봇 실행 사이의 차이는 계속 검증해야 합니다.

LaLa-World의 중요한 점은 멀티모달 사전 학습, 잠재 공간 상상 계획, 로봇 정책 학습을 하나의 파이프라인으로 연결했다는 데 있습니다.

출처: Hugging Face Daily Papers