로봇은 추론을 기다릴 수 없다: SmoothRL이 비동기 온라인 강화학습을 실제 동작에 맞춘다

현실의 로봇은 대형 모델의 추론이 끝날 때까지 멈춰 기다릴 수 없다. 시각-언어-행동 모델이나 World-Action Model은 미래의 여러 동작을 action chunk 형태로 한 번에 예측하지만, 로봇은 다음 chunk가 계산되는 동안에도 현재 동작을 계속 수행해야 한다. 던지기처럼 속도를 연속적으로 쌓아야 하는 작업에서는 추론을 기다리는 짧은 정지조차 실패로 이어질 수 있다.

비동기 실행은 동작의 끊김을 막지만, 온라인 강화학습에는 새로운 신용 할당 문제가 생긴다. 모델이 생성한 하나의 chunk가 전부 물리적으로 실행되는 것은 아니기 때문이다. 일부 동작은 이미 실행되고, 일부는 실행 전에 다음 추론 결과로 대체된다. 이 차이를 무시하고 전체 chunk를 학습 대상으로 삼으면 로봇이 수행하지 않은 동작까지 성공이나 실패의 원인으로 잘못 처리하게 된다.

핵심 내용

• 동작 chunk를 상태별로 나눈다. SmoothRL은 action chunk를 이미 전달돼 변경할 수 없는 커밋 영역, 로봇이 실제 수행할 실행 영역, 다음 chunk로 대체되는 폐기 영역으로 구분한다.
• 실행된 동작만 학습한다. 강화학습의 그래디언트가 실행 영역을 통해서만 흐르도록 해, 모델의 예측 전체가 아니라 로봇이 실제 경험한 궤적과 학습 목표를 일치시킨다.
• 훈련에서도 비동기 실행을 유지한다. 추론과 로봇 제어를 병렬로 수행하고, 그 시간 관계에서 나온 rollout을 replay buffer에 저장한다. 동기 환경에서 먼저 학습한 뒤 배포 때만 비동기로 바꾸는 방식이 아니다.
• 잔차 정책으로 미세 조정한다. 구현에서는 과제별로 조정한 π0.5를 기반 정책으로 사용하고, 가벼운 TD3-style actor-critic이 원래 행동 공간에서 residual correction을 예측한다.

S1 로봇 실험에서 제어 주파수는 30 Hz, 추론 요청 주파수는 5 Hz였다. 각 chunk는 32프레임으로 구성되지만, 정해진 지연 시간 안에서 실제 실행되는 부분은 일부에 불과하고 나머지는 후속 chunk로 덮어써질 수 있다.

실험 결과 동적 던지기 성공률은 39%에서 94%로, 펜에 캡을 씌우는 과제는 8%에서 83%로, 택배 상자 개봉은 30%에서 90%로 높아졌다. 던지기는 속도를 유지하면서 정확한 순간에 놓아야 하고, 캡 씌우기는 작은 위치 오차를 처리해야 하며, 개봉은 좁은 틈에 얇은 칼날을 삽입해야 한다. 개봉 과제의 학습 곡선은 계속 상승하지 않았고, 중간에 성공률이 떨어졌다가 다시 회복됐다. 실제 환경의 온라인 탐색은 항상 단조롭게 좋아지지 않는다는 뜻이다.

의미와 한계

SmoothRL은 로봇을 처음부터 가르치는 방법이라기보다, 기본 능력을 갖춘 정책을 실제 환경에서 다듬는 배포 후 학습에 가깝다. 던지기 속도 조절 실패, 개봉 과정의 지속적인 왼쪽 편향, 캡 위치 변화에 대한 낮은 적응력처럼 반복되는 오류를 실제 결과에 따라 줄여 나간다. 연구팀은 온라인 강화학습 후 한 번의 자율 던지기에서 말단 가속도 RMS가 52%, jerk가 47% 감소했다고 보고했다.

다만 완전한 무인 자기진화는 아니다. 현재는 희소한 성공·실패 보상을 사용하고, 필요하면 작업자가 개입할 수 있다. 추론은 사전에 정한 지연 시간 예산 안에서 끝나야 하며, 잔차 정책의 표현력은 고정된 기반 정책에 제한된다. 초기 정책이 목표 행동과 크게 다르면 국소적인 보정만으로 해결하기 어렵다. SmoothRL의 핵심 의미는 사전학습과 안정적인 실물 배포 사이에, 로봇이 실제로 수행한 동작을 바탕으로 계속 개선하는 온라인 후학습 계층을 제시했다는 데 있다.

출처: 量子位