ACCRUE, 기존 기술을 유지하며 로봇의 새 작업 학습을 가속

배경

로봇 파운데이션 모델은 시연 데이터만으로도 다양한 조작 능력을 제공할 수 있습니다. 하지만 실제 배치 환경에서는 한 가지 작업을 익히는 것으로 충분하지 않습니다. 로봇은 새로운 작업을 계속 학습하면서도 이미 습득한 기술을 안정적으로 수행해야 합니다. 새 작업에 맞춰 정책을 크게 바꾸면 기존 행동이 덮어써지는 재앙적 망각이 발생할 수 있습니다.

기존의 지속형 강화학습 방법은 망각을 줄이는 데 초점을 두지만, VLA 모델에 적용할 때 온폴리시 업데이트에 의존하는 경우가 많습니다. 반대로 오프폴리시 강화학습은 한 작업에서 수집한 전이를 재사용해 샘플 효율을 높일 수 있지만, 여러 작업에 걸쳐 학습기를 유지하는 문제까지 해결하지는 못했습니다. ACCRUE는 두 방향을 결합한 접근법입니다.

ACCRUE의 작동 방식

• 기반 모델 고정. 강화학습 단계에서 대규모 로봇 기반 모델은 그대로 두고, 기반 정책의 행동을 보정하는 경량 actor와 critic만 학습합니다. 이 방식은 추가 GPU 훈련 비용을 줄이고, 기반 모델의 표현이 반복적으로 바뀌면서 생기는 불안정성도 완화합니다.
• actor-critic 계승. 한 작업이 끝난 뒤 actor와 critic을 폐기하거나 처음부터 다시 학습하지 않고 다음 작업으로 가져갑니다. 계승된 critic은 현재 작업의 전이 데이터에 맞춰 적응하고, actor 업데이트에 가치 정보를 제공합니다. actor는 이전 강화학습에서 얻은 행동 지식을 새로운 작업의 출발점으로 활용합니다.
• 소량의 과거 데이터로 망각 억제. 모든 과거 데이터를 저장하는 대신 이전 작업의 일부 에피소드만 캐시합니다. 새 작업을 학습할 때 현재 actor가 캐시된 과거 행동 목표를 따르도록 증류해, 기존 기술에서 지나치게 벗어나는 것을 막습니다.
• 리플레이 호환성 확보. 시각 특징을 고정해 계승된 학습기와 과거 리플레이가 계속 호환되도록 합니다. 이는 과거 경험을 재사용하는 오프폴리시 지속학습을 안정화하는 핵심 설계입니다.

실험 결과

연구진은 접촉이 많은 조립 작업 시퀀스를 대상으로 시뮬레이션과 실제 로봇 실험을 진행했습니다. 실제 환경에서는 각 작업을 소수의 시연으로 시작한 뒤, 강화학습 상호작용 데이터를 물리 로봇에서 직접 수집했습니다. π0.5와 FastTD3를 사용한 실험에서 후속 작업은 최근 20개 에피소드 기준 성공률 95%라는 종료 조건에 약 4~12분의 로봇 상호작용으로 도달했습니다.

작업별로 독립적인 단일 작업 강화학습을 수행하는 경우와 비교하면, AutoMate 조립 스위트에서는 로봇 상호작용 시간을 31.068.5% 줄였습니다. NIST 조립 스위트에서는 38.742.9%의 감소를 기록했습니다. 이 수치는 온라인 워밍업을 포함하지만 시연 수집과 파운데이션 모델 미세조정은 제외한 것으로, 온라인 강화학습에 필요한 실제 로봇 사용 비용을 나타냅니다.

기존 기술의 보존 효과도 확인했습니다. 전체 작업 시퀀스를 마친 뒤 이전 6개 작업에서 120회 중 118회 성공해 전체 성공률 98.3%를 기록했습니다. 또한 시뮬레이션에서는 GR00T와 FastSAC 조합을 사용해 ACCRUE를 별도로 평가했습니다.

의미와 남은 과제

ACCRUE는 로봇 후훈련을 매번 독립적으로 수행하는 적응 과정이 아니라, 경험이 누적되는 과정으로 바라봅니다. 대규모 모델의 일반 능력은 유지하면서 작업별 개선 사항을 작고 계승 가능한 RL 모듈에 저장하는 구조입니다. 물리적 상호작용이 느리고 비용이 큰 실제 로봇에서는 GPU 계산보다 데이터 수집 시간이 더 큰 병목이 될 수 있으므로, 이러한 설계는 실용적인 의미를 갖습니다.

다만 현재 결과는 조립 작업 시퀀스와 특정 파운데이션 모델 및 강화학습 알고리즘 조합을 중심으로 합니다. 작업 간 유사성, 보존하는 리플레이의 양, 고정 시각 특징의 안정성이 전이 성능에 영향을 줄 수 있습니다. 서로 성격이 다른 작업이 길게 이어지는 환경에서도 같은 수준의 안정성을 보일지는 추가 검증이 필요합니다.

그럼에도 과거 actor-critic을 계승하고, 소량의 기억으로 이전 기술을 보호하면서 새 작업에 로봇 상호작용을 집중한다는 ACCRUE의 방향은 지속적으로 학습하는 로봇 시스템을 설계하는 유망한 기준을 제시합니다.

출처: Hugging Face Daily Papers