세계 모델을 훈련 뒤 빼면 로봇이 더 강해지는 이유

세계 모델을 항상 실행하지 않는 접근

많은 체화형 AI 시스템에서 세계 모델은 로봇의 내부 시뮬레이터 역할을 한다. 로봇은 어떤 행동을 했을 때 미래에 무슨 일이 일어날지 예측하고, 여러 후보를 비교한 뒤 다음 동작을 선택한다. 하지만 실행 중 예측과 탐색을 반복하면 지연 시간과 연산량, 시스템 복잡도가 커진다. 장시간 가동되는 생산라인에서는 이런 비용이 곧 운영 부담이 된다.

광샹테크놀로지와 칭화대 리성보 교수 연구팀이 공개한 Phi-WM 1.0 ActEffect는 세계 모델의 위치를 바꿨다. 통제된 세계 모델은 훈련 단계에서 후보 행동의 결과를 점검하지만, 훈련이 끝난 뒤에는 로봇의 실행 경로에서 빠진다.

세 가지 행동 답안을 비교한다

ActEffect는 모방학습에서 출발한다. 기존 정책은 시연 데이터의 행동과 비슷한 출력을 내도록 학습하는 경우가 많다. 그러나 현실에서는 수치상 비슷한 행동이 같은 결과를 보장하지 않는다. 그리퍼가 닫히는 시점이나 손목 각도가 조금만 달라도 물체를 놓치거나 삽입 작업이 실패할 수 있다.

이 문제를 다루기 위해 정책은 세 개의 완전한 행동 제안을 만든다. 첫 번째는 피드포워드 분기의 초기 제안, 두 번째는 MIP 행동 헤드가 만든 거친 제안, 세 번째는 거친 제안을 정교화한 최종 제안이다. 세계 모델은 현재의 시각 상태와 각 행동 제안을 입력으로 받아, 행동이 실행된 뒤 장면이 어떻게 변할지 예측한다.

미래의 장면을 사실적으로 렌더링할 필요는 없다. 미래 상태는 고정된 DINOv3 시각 특징 공간에 표현되며, 물체의 위치와 자세, 장면 구조의 변화를 비교하는 데 초점을 둔다. 언어 지시는 VLA가 계속 담당하고, 세계 모델은 “무엇을 해야 하는가”가 아니라 “그 행동이 물리적으로 어떤 결과를 내는가”를 학습한다.

훈련 데이터에는 실제 행동 뒤의 관측 결과가 들어 있다. 시스템은 세 가지 예측을 실제 미래와 비교하면서, 정교화된 제안이 거친 제안보다 좋고 거친 제안이 초기 제안보다 좋도록 순위 손실을 적용한다. 이 신호는 정책으로 전달된다. 또한 그래디언트 절단을 사용해 나쁜 답안을 일부러 더 나쁘게 만들어 상대적 우위를 얻는 편법을 막는다.

벤치마크 성과와 한계

보고된 평균 성공률은 LIBERO에서 98.8%, 다양한 카메라 시점과 초기 상태, 언어 표현, 조명, 배경, 센서 노이즈, 물체 배치를 적용한 LIBERO-PLUS에서 80.3%다. 29차원 행동 공간을 사용하는 휴머노이드 로봇 GR-1 기반 RoboCasa-GR1에서는 67.5%를 기록했다.

제거 실험도 각 구성 요소의 역할을 보여준다. 결과 피드백을 없애면 LIBERO 성능은 97.0%로 떨어지고, DINOv3 특징 공간을 VLM 표현으로 바꾸면 97.3%, 순위 손실을 제거하면 98.1%가 된다.

다만 이 결과는 주로 시뮬레이션 벤치마크에 기반한다. 자료에는 Phi-Bot X1이 실제 환경에서 21.5시간 동안 오류와 중단 없이 운용됐다는 검증도 소개돼 있지만, 이는 전체 산업용 체화 시스템에 대한 결과이며 ActEffect 자체의 대규모 실기기 검증과 동일하게 볼 수는 없다. 차종과 부품, 작업 셀이 달라져도 성능을 유지할 수 있는지, 장기간 생산라인에서 안정적으로 작동하는지는 앞으로 확인해야 한다.

산업 현장에서 중요한 이유

ActEffect의 핵심 시사점은 세계 모델이 로봇의 온라인 두뇌로 계속 남을 필요는 없다는 것이다. 훈련 중 행동 결과를 평가하는 교사처럼 활용하고, 그 경험을 정책 파라미터에 반영하면 실행 단계에는 더 가벼운 행동 모델만 남길 수 있다. 이론적으로는 추론 지연과 연산량을 줄이고, 여러 작업장으로 시스템을 복제할 때 필요한 비용도 낮출 수 있다.

자동차 제조 현장에서 평가되는 것은 단일 성공률만이 아니다. 작업 주기, 안전성, 고장률, 복구 능력, 배치 기간, 다른 공정으로의 확장 비용이 모두 중요하다. ActEffect는 “훈련할 때는 더 많이 생각하고, 실행할 때는 더 적게 계산한다”는 경로를 보여줬다. 이 방식이 실제 경쟁력이 되려면 장기간 생산라인 운용과 더 많은 실기기 데이터가 뒷받침돼야 한다.

퀀텀비트