DriveZero: 인간 시연을 넘어 학습하는 자율주행

들어가며

많은 엔드투엔드 자율주행 시스템은 인간이 남긴 주행 로그를 모방하며 학습한다. 이 방식은 구축하기 쉽지만 기록된 궤적의 품질과 범위에 성능이 묶인다. 사람이 경험하지 않았던 상황, 로그에 등장하지 않은 다른 주행 선택, 충분히 표현되지 않은 운전 의도는 모방학습만으로 익히기 어렵다. 샤오미 자율주행팀이 제안한 DriveZero는 행동에 대한 학습 신호를 상호작용 과정에서 생성해 이 한계를 줄이려 한다.

보는 능력과 행동 능력의 분리

DriveZero는 자율주행을 지각 모델과 행동 모델로 나눈다. 지각은 방대하고 다양한 이미지 데이터에서 이점을 얻지만, 행동은 결정의 결과가 다음 상태에 영향을 주는 폐루프 피드백을 필요로 한다는 판단이다.

• 행동 학습을 위한 DriveRL. DriveRL은 nuPlan의 실제 주행 로그를 상호작용 가능한 혼합 에이전트 세계로 변환한다. 하나의 장면에서 로그 재생, 규칙 기반 제어기, 학습 정책이 서로 다른 배경 차량의 행동 제공자로 함께 작동할 수 있다. 이를 통해 고정된 궤적을 단순 재생하는 환경보다 유연한 학습 조건을 만든다. 연구진은 특권 정보를 사용하는 570만 파라미터 교사 정책을 PPO로 학습하고, 폐루프 롤아웃을 통해 환경 변화에 대응하는 행동을 익히게 했다.
• 지각 학습을 위한 DriveVFM. DriveVFM은 DINOv3, SigLIP2, SAM, Depth Anything V2의 동결 비전 모델 기능을 하나의 백본으로 통합한다. 작업별 주석 없이 원시 이미지에서 학습하며, 물체와 의미, 공간 구조, 깊이 등에 대한 범용 표현을 얻는 것이 목표다.
• 증류로 통합하는 DriveZero. 최종 카메라 전용 플래너는 DriveVFM으로 다중 시점 이미지를 인코딩하고 궤적 후보를 출력한다. 인간의 조작을 직접 복사하는 대신 DriveRL 교사가 상호작용 환경에서 생성한 궤적을 학습한다. 또한 목표 조건부 교사에 확장된 운전 의도를 입력해, 원래 인간 로그에는 없지만 목표와 일관된 감독 신호를 만들 수 있다.

성과와 한계

nuPlan에서 가치 유도 테스트 시점 행동 탐색을 적용한 DriveRL은 Val14, Test14-hard, Test14-random 커뮤니티 분할의 비반응형·반응형 설정에서 평균 93.57점을 기록했다고 보고됐다. 이는 로그 재생 전문가를 웃도는 결과다. DriveRL 롤아웃만으로 학습한 DriveZero도 NAVSIMv1, NAVSIMv2와 폐루프 HUGSIM 벤치마크에서 최고 수준의 성능을 달성한 것으로 제시됐다.

다만 특권 교사는 카메라 전용 차량이 사용할 수 없는 정보를 이용한다. 혼합 에이전트 환경이 실제 교통의 복잡성과 상호작용을 충분히 재현하는지도 별도의 검증이 필요하다. 따라서 벤치마크 성능 향상을 실제 도로의 희귀 상황과 안전 문제가 해결됐다는 의미로 확대해서는 안 된다.

의미와 영향

DriveZero가 제시하는 핵심은 모델 하나보다 학습 방식의 분업이다. 대규모 시각 사전학습으로 세계 이해를 강화하고, 폐루프 강화학습으로 환경과 상호작용하는 능력을 키운 뒤, 증류를 통해 배포 가능한 엔드투엔드 플래너로 결합한다. 이 접근법이 더 다양한 실제 도로 조건에서도 안정적으로 작동한다면 인간 시연 데이터에 대한 의존도를 낮추고, 새로운 운전 목표와 희귀 행동을 위한 데이터 생성도 확장할 수 있다.

출처: Hugging Face Daily Papers