ODE Policy: 로봇이 행동이 아니라 행동의 변화를 학습하게 하다

배경

많은 로봇 정책은 관측을 각 이산 제어 시점의 행동값으로 바로 변환한다. 이 방식은 단순하지만 물리적 움직임의 연속성을 학습 과정에서 간접적으로 해결해야 한다. 특히 짧은 행동 청크를 이어 붙여 실행할 때 청크 경계에서 명령이 갑자기 변하면, 로봇의 동작이 거칠어지고 접촉 작업이나 정밀 제어의 안정성이 떨어질 수 있다.

ODE Policy는 행동을 서로 독립적인 값이 아니라 시간에 따라 진화하는 상태로 본다. 신경 상미분방정식이 행동의 벡터장을 학습하고, 이를 적분한 결과가 실행할 행동이 된다. 즉, 다음 행동을 단순히 찍어내는 대신 행동이 어떻게 변해야 하는지를 모델링한다.

핵심 구성

• 행동 동역학 학습: 모방학습에서는 짧은 행동 청크를 적분한 결과가 시연 목표와 일치하도록 학습한다. 강화학습에서는 한 번의 제어 단계에 해당하는 행동 변화를 학습한다.
• 이전 행동에서 시작: 배포 시 새 행동은 직전 행동을 초기값으로 삼아 생성된다. 별도의 후처리에만 의존하지 않고 생성 과정 자체에서 연속성을 확보한다.
• 행동 다양성 보존: 경량 diversity head가 벡터장의 방향을 무작위화해 동일한 관측에서 가능한 여러 행동을 표현한다.
• 여러 시스템에 적용: 시각-운동 정책뿐 아니라 VLA와 월드 액션 모델의 행동 헤드, 모델 기반 강화학습의 액터로도 사용할 수 있다.

보고된 결과

논문은 단일 팔, 양팔, 손가락이 많은 정교한 손, 보행, 이동 조작 과제를 포함해 14개 기준선과 비교했다. LIBERO 모방학습 실험에서 1 epoch 이후 성공률, 일반화 성능, 모드 균형성이 흐름 매칭 대비 각각 5.9배, 5.4배, 3.9배였다고 보고했다. 행동 생성 속도는 10.8배 빨랐다. 또한 단일 팔, 양팔, 정교한 손, 휴머노이드 로봇을 포함한 여러 실제 로봇 과제에서 비교 방법 중 가장 높은 성공률을 기록했다고 설명한다. 생성된 동작은 인간 시연보다 대체로 더 부드러웠다.

의미와 남은 질문

이 연구의 핵심은 움직임의 연속성을 단순한 후처리나 학습의 부수적 결과가 아니라 정책 표현에 직접 넣었다는 점이다. 접촉이 많은 조작, 양팔 협업, 휴머노이드 추적 제어에서는 이러한 방식이 액추에이터와 환경의 물리적 제약에 더 잘 맞을 가능성이 있다. 빠른 행동 생성은 폐루프 제어에도 도움이 될 수 있다.

다만 제공된 자료만으로는 적분 설정, 제어 주파수, 외란, 장기 실행에서의 오차 누적이 결과에 미치는 영향을 알기 어렵다. 다른 하드웨어와 미지의 환경에서도 이점이 유지되는지는 전체 논문과 추가 재현 실험을 통해 확인해야 한다.

출처: Hugging Face Daily Papers