UNITAS, 로봇 조작을 3차원으로 이해하는 월드 액션 모델

들어가며

로봇이 물체를 집어 다른 위치에 놓으려면 자연스러워 보이는 움직임을 생성하는 것만으로는 부족합니다. 로봇은 어떤 동작을 실행해야 하는지 결정하는 동시에, 그 동작이 물체와 주변 환경을 어떻게 바꿀지도 예상해야 합니다. 월드 액션 모델(WAM)은 이처럼 행동과 물리적 결과가 얽힌 문제를 함께 다루는 것을 목표로 합니다.

기존 WAM의 상당수는 동영상 생성 모델을 기반으로 미래 이미지나 시각 잠재 표현을 예측합니다. 하지만 이미지는 3차원 장면을 특정 시점에서 투영한 결과입니다. 픽셀 사이의 거리가 실제 물리적 거리와 일치하지 않기 때문에, 정밀한 접촉과 파지, 배치가 필요한 로봇 조작에서는 한계가 생길 수 있습니다.

UNITAS는 관측과 행동을 처음부터 물리적인 3차원 공간에서 표현하는 방식으로 이 문제에 접근합니다.

핵심 내용

• 공통 미터 단위 프레임. 각 상호작용 안에서 관측, 행동, 장면 동역학을 하나의 미터 단위 3D 좌표계로 통합합니다. 시각 예측을 실제 움직임 계획으로 변환하는 간극을 줄이려는 설계입니다.
• 점 궤적으로 표현하는 행동. 사람의 손과 로봇 그리퍼를 3D 점들의 궤적으로 표현하며, 이를 action flow로 설명합니다. 서로 다른 로봇 형태와 인간 동작을 같은 인터페이스로 다룰 수 있습니다.
• 행동 조건부 장면 변화. scene flow는 행동 궤적에 따라 장면의 점들이 얼마나 이동하는지를 나타냅니다. 따라서 UNITAS는 행동을 직접 생성하는 동시에, 특정 행동 이후 환경이 어떻게 변할지도 예측할 수 있습니다.
• 공간과 시간을 함께 인코딩. 월드 정렬 3D 위치 임베딩은 깊이 입력이 없을 때에도 시각 토큰을 상호작용 공간의 위치와 연결합니다. 물리 시간 궤적 토크나이저는 각 점 궤적을 현재 3D 위치에 고정된 하나의 토큰으로 변환합니다.
• 예측과 제어를 함께 평가. 17억 개 파라미터를 가진 UNITAS는 RoboTwin의 행동 조건부 장면 예측에서 비교 방법 중 가장 좋은 결과를 기록했다고 보고됐습니다. PointWorld보다 변위 오류가 최대 49% 낮았고, LIBERO에서는 99.8%의 조작 성공률, 또 다른 조작 평가에서는 평균 85%의 결과가 제시됐습니다. 제공된 자료에는 후자의 벤치마크 전체 이름이 포함되지 않았습니다.

의미와 한계

UNITAS의 핵심은 단순히 시각 모델에 깊이 정보를 더한 데 있지 않습니다. 행동을 이미지 시퀀스의 변화가 아니라 물리 공간에 위치한 궤적으로 표현하고, 결과를 그럴듯한 다음 프레임이 아니라 측정 가능한 장면 점의 이동으로 나타내는 인터페이스를 제안했다는 점입니다.

이런 구조는 로봇 학습의 두 가지 문제와 연결됩니다. 로봇마다 관절 구조와 제어 공간이 다르지만, 공간적 상호작용을 3D 궤적 수준에서 공유하면 embodiment 간 정렬의 기반을 마련할 수 있습니다. 또한 사람의 손과 로봇 그리퍼를 같은 방식으로 표현하면 인간 시연과 로봇 데이터 사이의 표현 차이를 줄일 가능성이 있습니다.

다만 제시된 성능은 특정 벤치마크에 기반한 결과입니다. 가림, 센서 오차, 익숙하지 않은 물체, 장기 계획이 포함된 개방 환경에서의 일반화까지 입증한 것은 아닙니다. 그럼에도 UNITAS는 로봇 월드 모델이 카메라에 보일 다음 이미지뿐 아니라, 행동이 물리 세계를 어떻게 바꾸는지까지 모델링해야 한다는 방향을 분명히 보여줍니다.

출처: Hugging Face Daily Papers