영상은 환경이 어떻게 변했는지 보여주지만, 변화를 일으킨 행동까지 표시하는 경우는 드뭅니다. 로봇과 월드 모델은 시각 데이터에서 결과를 관찰할 수 있어도 환경의 작동 방식을 학습할 행동 감독 신호가 부족할 수 있습니다. 잠재 행동 학습은 영상의 변화에서 숨은 행동을 추론하지만, 기존 접근법은 환경 동역학의 상당 부분을 처음부터 학습해야 하는 경우가 있습니다. O²LaF는 사전학습 비디오 모델을 행동 추론과 결과 예측의 공통 출발점으로 삼습니다.
하나의 사전학습, 두 가지 동역학
O²LaF는 동일한 사전학습 비디오 확산 트랜스포머(DiT)로 서로 다른 역할의 두 모델을 초기화합니다. 역동역학 모듈은 학습 가능한 행동 쿼리를 사용하는 순전파형 전이 인코더로, 영상 상태의 변화에서 잠재 행동을 추출합니다. 정동역학 모듈은 인과적 구조의 행동 조건부 비디오 생성기로, 행동을 입력받아 다음 장면을 예측합니다. 두 모델은 초기화 기반을 공유하되, 모든 기능을 하나에 맡기지 않고 각 역할에 맞게 조정됩니다.
학습 과정에서 프레임워크는 각 모듈이 접근할 수 있는 정보를 통제해 담당 업무에 맞게 학습되도록 합니다. 추론된 행동 표현은 압축된 병목을 통과합니다. 두 동역학을 종단간 공동 최적화함으로써 행동 코드가 관측된 상태 전이를 표현하고, 다음 변화의 예측에도 쓰이도록 합니다. 학습에는 라벨 없는 영상이 사용되며, 클립별 사람의 행동 주석은 필요하지 않습니다.
논문이 보고한 결과
- 내비게이션과 로봇 조작에서 소수 예시 행동 프로빙의 새로운 최고 성능을 달성했다고 보고합니다.
- 시각적 맥락과 구현체가 달라지는 환경에서 제로샷 행동 전이가 개선됐다고 설명합니다.
- V-JEPA2와 같은 예측 표현 사전학습으로 프레임워크를 확장해 경쟁력 있는 성능을 보고했습니다.
이 결과는 사전학습 비디오 모델이 장면을 생성하는 데 그치지 않고, 행동과 환경 변화의 관계를 학습하는 기반이 될 수 있음을 시사합니다. 행동 표현이 서로 다른 장면에서도 재사용된다면, 로봇은 단순한 시각 특징보다 제어에 가까운 지식을 영상 관찰에서 얻을 수 있습니다. 정동역학 예측기는 잠재 행동이 예상 결과를 설명하는지 확인하는 수단도 제공합니다.
다만 제공된 초록에는 벤치마크 이름, 수치로 나타낸 개선 폭, 세부 실험 조건이 없습니다. 따라서 보고된 이점의 규모나 전이가 성립하는 구체적인 조건을 판단하기는 어렵습니다. 후속 검증 과제로는 압축된 행동 표현이 더 복잡한 작업까지 포괄하는지, 사전학습 방식에 따라 결과가 어떻게 달라지는지, 실제 로봇에서 성능을 보이는지 등이 남습니다. 현재 자료에서 O²LaF의 핵심 기여는 공통 사전학습 기반을 활용하되 역동역학과 정동역학을 별도로 적응시키는 잠재 행동 학습 프레임워크입니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…