OpenFlyV2、ドローン上で動く視覚・言語・行動モデルを提案

導入

ドローンに「指定した物体を探す」「対象の近くまで移動する」といった指示を実行させるには、画像認識だけでは不十分だ。言語が指す対象を映像内で特定し、対象同士の位置関係を推論し、その結果を安全で実行可能な飛行動作へ継続的に変換しなければならない。OpenFlyV2は、これらを機体上で一体的に処理することを目指した視覚・言語・行動モデルである。

主なポイント

• 共有表現による統合。 シーンの意味理解、言語に基づく対象認識、空間推論を共通の視覚言語表現で処理し、軽量なアクションエキスパートが短期の飛行航路点へ変換する。
• 閉ループ飛行に対応。 一度だけ計画を出力するのではなく、観測を受けながら判断を更新する。1つのアクションチャンクは12個の航路点で構成され、Jetson Orin NX上で10 Hzのオンボード推論を行う。
• 時系列処理を効率化。 運動を考慮した時間メモリと行動事前分布を利用し、閉ループ制御で過去の状態や行動情報を再利用することで計算負荷の低減を図る。
• シミュレーションデータを構築。 約7万件のナビゲーション軌跡と、6万件の視覚言語による指示・応答ペアを含むデータセットを用意した。
• 実機へのゼロショット移行。 実世界の空中ロボットデータで追加学習せず、実際のクアッドローターへ移行し、4つの実環境で48%の成功率を報告した。

意義と残る課題

OpenFlyV2の重要性は、視覚、言語、計画、制御を単に接続するのではなく、連続した処理ループとして設計した点にある。共有表現を使えば、複数の専門モジュール間のインターフェースを減らし、クラウドや外部計算機への依存を抑えられる可能性がある。通信遅延や帯域が制約される飛行環境では、オンボード処理は実用上の意味を持つ。

一方、成功率48%は有望な移行結果であるものの、安定運用を示すにはまだ距離がある。提供された資料では、タスクや環境、比較手法ごとの内訳、失敗例、安全制御の詳細は確認できない。今後は、動的障害物、長時間飛行、誤った対象解釈からの復帰、異なる機体への汎化を検証する必要がある。それでも本研究は、空中ロボットが「理解する」だけでなく、限られた計算資源の上で理解を即時の行動へ結びつける方向を示している。

出典：Hugging Face Daily Papers