Qwen-Drive-1.0：視覚言語モデルを自動運転へ拡張する試み

自動運転では、画像から物体を見つけるだけでなく、道路構造や空間配置を理解し、その情報を将来の車両運動へ変換する必要があります。Qwen-Drive-1.0は、この一連の処理を視覚言語モデルの共有表現を中心にまとめようとする初期的な研究です。事前学習済みVLMのアーキテクチャを維持しながら、運転向けの3D認識と軌道計画を組み込みます。

主な設計

この研究のポイントは、単独の認識精度ではなく、複数の運転タスクを同じ表現の上で連携させる点にあります。

• BEVによる3Dインターフェース。 外部の鳥瞰視点、すなわちBEV認識ヘッドが、3D物体検出、セマンティック占有予測、BEV地図分割を同時に行います。これは認識用の出力であると同時に、VLMの共有表現にどの程度の3D情報が含まれているかを調べるプローブとしても機能します。
• 計画エキスパートの追加。 Planning Expertは共有されたVLM表現を条件として、将来の自車軌道を生成します。視覚的な説明にとどまらず、車両の動きに直接関係する連続的な出力へつなげる設計です。
• 段階的な学習。 運転データの教師信号と、一般的な視覚言語データを組み合わせます。運転固有の能力を学びつつ、視覚理解や指示追従といった汎用能力の維持を図っています。

意義と影響

汎用VLMを運転領域へ適応させる際には、専門性と汎用性のバランスが課題になります。運転タスクに過度に最適化すれば、一般画像の理解や質問応答能力が損なわれる可能性があります。一方、汎用モデルだけでは、空間情報や走行可能領域を精密に扱うことが難しい場合があります。Qwen-Drive-1.0は、段階的学習と外部のBEVヘッドによって、この両立を試みています。

提供された概要によれば、モデルは3D認識と運転シーン理解で強い結果を示し、汎用的な視覚言語能力も概ね維持しました。運動計画については、オープンループ、疑似クローズドループ、クローズドループの複数条件で評価され、競争力のある性能が報告されています。BEV出力を通じて共有表現を検査できる点も、モデルの内部にある空間理解を検証するうえで有用です。

今後の課題

論文自身が初期段階の取り組みと位置付けているため、これだけで安全性や実環境での展開が解決したとは言えません。複雑な交通状況や長尾ケースでの頑健性、環境が変わった場合の閉ループ性能、計画結果の安定性などは、今後さらに検証が必要です。それでも、汎用VLMを基盤に、検査可能な3Dインターフェースと専用プランナーを組み合わせる方向性は、 embodied AI と自動運転基盤モデルを考えるうえで注目に値します。

出典：Hugging Face Daily Papers