CS-JEPA: 군집 로봇이 로컬 정보만으로 같은 미래를 예측하게 하는 방법

도입

군집 로봇에서 어려운 점은 개별 로봇이 주변을 인식하는 것만이 아니다. 각 로봇이 제한된 센서 정보와 좁은 통신 대역만 가진 상태에서도, 집단 전체가 앞으로 어떻게 변할지에 대해 일관된 예측을 형성해야 한다. 논문 “One Future, Every Robot”은 이를 위해 Collective-State JEPA, 즉 CS-JEPA를 제안한다. 핵심은 모든 로봇이 전역 풀링 없이도 하나의 공통 미래 집단 상태를 나타내는 예측 표현을 출력하도록 만드는 것이다.

핵심 내용

• 분산 배포를 고려한 문제 설정: 저자들은 이 과제를 “분산 공유 상태 예측”으로 정식화한다. 배포 시 각 로봇은 16프레임의 로컬 히스토리를 사용하고, 방향성 에지마다 64개 float로 된 순환 메시지를 주고받는다. 전역 pooling, target encoder, episode clock, 기록된 미래 행동은 사용하지 않는다.
• 원시 재구성이 아닌 JEPA 방식: CS-JEPA는 joint-embedding predictive architecture의 아이디어를 따른다. 미래 관측을 그대로 복원하기보다, 공통 미래 token field를 나타내는 임베딩을 예측한다. 이는 세부 재구성보다 제어와 의사결정에 유용한 추상 표현을 배우려는 접근이다.
• 적은 라벨로 평가: 모델은 다운스트림 집단 라벨 없이 사전학습된다. 이후 표현을 고정하고, 전역 라벨이 있는 6개, 12개, 24개 에피소드만으로 ridge probe를 학습한다. 동일한 수신자 앵커와 배포 용량을 가진 raw-future reconstruction 기준과 비교했을 때, CS-JEPA는 예측 오류와 로봇 간 일치성의 label-budget AUC를 개선했다.
• 토폴로지와 규모 변화에 대한 일반화: 실험은 동일 분포, 링 구조, mutual-kNN, 그리고 최대 108대까지의 보지 못한 규모 설정을 포함한다. 5개 외부 시드 follow-up에서 모든 효과가 CS-JEPA에 유리했다고 보고된다.
• 계획 관련 가치 추정 개선: 별도의 8시드 봉인 follow-up에서는 후보 4단계 계획을 입력받는 action-conditioned predictor를 비교했다. CS-JEPA는 branch-value MSE를 45.5% 낮추고, 문맥 내 후보 점수 Pearson 상관을 0.1291 높였다. 보지 못한 N=32 조건을 포함해 8개 시드 모두에서 유리한 결과가 나왔다.

의미와 영향

이 연구의 의미는 군집 로봇의 “공통 미래”를 학습 가능한 표현 목표로 만든 데 있다. 실제 분산 로봇 환경에서는 촘촘한 전역 라벨을 얻기 어렵고, 통신은 제한되며, 로봇 수나 연결 구조도 바뀔 수 있다. 따라서 라벨 없는 경험으로 표현을 학습한 뒤 소수의 전역 라벨 에피소드만으로 활용할 수 있는 방식은 실용적 잠재력이 크다.

또한 결과는 JEPA식 목표가 단순한 미래 재구성보다 분산 제어에 더 잘 맞을 수 있음을 시사한다. 각 로봇이 미래의 모든 세부사항을 복원하는 대신, 서로 합의 가능한 압축된 예측 표현을 만들고 이를 행동 가치 추정에 활용할 수 있기 때문이다. 아직은 논문 실험 수준의 결과이며 더 복잡한 실제 물리 환경 검증이 필요하지만, 군집 로봇용 월드 모델과 분산 의사결정 연구에서 주목할 만한 방향이다.

출처: Hugging Face Daily Papers