Qwen-Drive-1.0: 비전언어 모델을 자율주행으로 확장하는 초기 시도

자율주행 시스템은 물체를 인식하는 데서 끝나지 않습니다. 도로 구조와 공간 배치를 이해하고, 현재 장면이 앞으로의 차량 움직임에 어떤 제약을 주는지 판단해야 합니다. Qwen-Drive-1.0은 이러한 기능을 비전언어 모델의 공유 표현을 중심으로 통합하려는 초기 연구입니다. 사전학습된 VLM의 구조를 유지하면서 주행에 필요한 3D 인식과 궤적 계획을 연결합니다.

핵심 구성

Qwen-Drive-1.0의 특징은 하나의 작업에만 최적화하기보다 여러 주행 기능을 공통 표현 위에서 결합한다는 데 있습니다.

• BEV 기반 3D 인터페이스. 외부 조감도, 즉 BEV 인식 헤드는 3D 객체 검출, 의미 점유 예측, BEV 지도 분할을 함께 수행합니다. 이 헤드는 인식 출력뿐 아니라 공유 표현에 실제로 어떤 3D 정보가 담겨 있는지 살펴보는 탐침 역할도 합니다.
• 플래닝 전문가. Planning Expert는 공유된 VLM 표현을 조건으로 미래 자차 궤적을 생성합니다. 장면을 언어로 설명하는 수준을 넘어 차량의 연속적인 움직임과 직접 연결되는 출력을 만드는 구조입니다.
• 단계적 학습 전략. 주행 관련 감독 신호와 일반 비전언어 데이터를 함께 사용합니다. 이를 통해 주행 특화 능력을 확보하면서 시각 이해와 지시 따르기 같은 범용 능력의 손실을 줄이려 합니다.

주목할 이유

범용 VLM을 자율주행에 적용할 때는 전문성과 범용성 사이의 균형이 중요합니다. 주행 데이터에 지나치게 맞추면 일반 이미지 이해나 질의응답 능력이 약해질 수 있고, 반대로 범용 모델만으로는 정밀한 공간 추론과 주행 가능 영역 판단이 부족할 수 있습니다. Qwen-Drive-1.0은 단계적 학습과 BEV 헤드를 조합해 이 문제를 다루려 합니다.

제공된 자료에 따르면 이 모델은 3D 인식과 주행 장면 이해에서 강한 결과를 보였으며, 일반적인 비전언어 능력도 대체로 유지했습니다. 모션 플래닝은 오픈 루프, 의사 클로즈드 루프, 클로즈드 루프 조건에서 평가됐고, 경쟁력 있는 성능이 보고됐습니다. 특히 BEV 출력은 공유 표현을 비교적 직접적으로 점검할 수 있게 해, 모델이 공간 정보를 얼마나 활용하는지 분석하는 데 도움을 줍니다.

남은 과제

논문은 Qwen-Drive-1.0을 ‘초기 단계’로 설명합니다. 따라서 이 결과를 실제 도로에서의 안전성이나 배포 가능성이 해결됐다는 의미로 해석해서는 안 됩니다. 복잡한 교통 상호작용과 롱테일 상황에서의 견고성, 환경 변화에 대한 클로즈드 루프 성능, 계획 결과의 안정성은 추가 검증이 필요합니다.

그럼에도 이 연구는 자율주행 기반 모델의 한 가지 설계 방향을 제시합니다. 범용 VLM을 기반으로 삼고, 검증 가능한 3D 인터페이스와 전용 플래너를 결합해 시각 이해를 실제 주행 행동으로 확장하는 방식입니다. 이는 멀티모달 모델과 embodied AI가 자율주행 영역에서 결합되는 과정을 보여주는 사례로 볼 수 있습니다.

출처: Hugging Face Daily Papers