τ₀-VLA, 행동 전에 가능한 미래를 비교하는 로봇 모델

장기 로봇 조작의 어려움은 개별 동작을 수행하는 데서 끝나지 않습니다. 로봇은 여러 기술을 올바른 순서로 연결하고, 지금까지 무엇을 했는지 기억하며, 다음에 어떤 하위 작업을 선택할지 계속 판단해야 합니다. 기존 계층형 비전·언어·행동 모델은 대체로 각 결정에 한 번의 순전파만 사용합니다. 따라서 실패 가능성이 높거나 결과가 중요한 선택에 더 많은 계산을 투입할 방법이 제한적입니다.

τ₀-VLA는 로봇이 행동하기 전에 가능한 결과를 비교할 수 있어야 한다는 관점에서 출발합니다. 결정이 불확실하면 여러 후보를 검토한 뒤 다음 단계에 commit하는 방식입니다.

역할을 나눈 계층형 구조

τ₀-VLA는 계층형 로봇 파운데이션 모델입니다. 고수준 정책은 실행 메모리를 유지하면서 완료된 하위 작업과 현재 관측을 바탕으로 다음 하위 작업을 제안합니다. 선택이 명확하면 바로 결과를 내놓지만, 불확실성이 크면 테스트 시점 계산을 추가로 사용해 여러 후보를 생성합니다.

이후 세계 모델은 각 후보를 실행했을 때 나타날 수 있는 시각적 결과를 예측합니다. 고수준 정책은 이러한 결과를 비교해 하위 작업을 선택하고, 이를 범용 저수준 VLA에 전달합니다. 저수준 정책은 여러 로봇 본체에서 선택된 작업을 실제로 수행합니다. 즉, 장기 작업의 순서를 결정하는 기능과 세부 동작을 실행하는 기능을 분리하면서도, 결정의 난이도에 따라 추론 비용을 조절할 수 있습니다.

주요 실험 결과

• 저수준 정책은 이질적인 실제 로봇 데이터 40,115시간과 멀티모달 공동 학습을 사용해 훈련되었습니다.
• 선택적 테스트 시점 계산은 도메인 내 환경과 분포 변화 환경 모두에서 다음 하위 작업 예측 정확도를 15~24%포인트 높였습니다.
• 실제 평가에는 13~25개의 순서 있는 단계로 구성되고 최대 12분 동안 지속되는 에피소드가 포함되었습니다.
• 네 가지 장기 조작 작업에서 동일한 저수준 정책을 사용했을 때, 계층형 계획은 평균 폐루프 성공률을 27.5%에서 45.0%로 높였습니다.

의미와 남은 과제

τ₀-VLA의 핵심은 로봇 계획에 계산량을 고정하지 않고, 판단의 어려움에 따라 배분했다는 점입니다. 장기 작업에서는 초기에 잘못된 하위 작업을 고르면 이후의 여러 단계가 연쇄적으로 실패할 수 있습니다. 후보를 탐색하고 세계 모델로 예상 결과를 확인하면, 오류 비용이 큰 결정에 더 많은 계산을 쓸 수 있습니다.

물론 추가 추론이 곧바로 현실 세계의 안정적인 성공을 보장하는 것은 아닙니다. 성능은 세계 모델의 예측 품질과 저수준 정책의 실행 능력에 의존하며, 예측된 시각적 결과가 실제 환경과 다를 수도 있습니다. 따라서 이 연구는 장기 조작의 모든 문제를 해결했다기보다, 로봇 파운데이션 모델에 확장 가능한 의사결정 방식을 제시한 것으로 볼 수 있습니다. 공식 코드와 사전 학습된 저수준 VLA 체크포인트는 공개되었고, 고수준 정책은 추후 공개될 예정입니다.

출처: Hugging Face Daily Papers