OpenFlyV2：让无人机在机载端理解语言并持续飞行

导语

让无人机听懂“飞到目标旁边”“寻找某个物体并继续前进”一类指令，难点并不只在视觉识别。系统还要把语言中的实体对应到画面内容，判断目标的空间关系，并将推理结果持续转化为安全、可执行的飞行动作。OpenFlyV2 的切入点，是把这些环节放进一个能够直接部署在无人机上的视觉-语言-动作模型中。

核心要点

• 统一感知与控制。 模型使用共享的视觉语言表示，同时支持场景语义理解、语言指向的目标感知和空间关系推理，再将多模态上下文交给轻量动作专家生成短时飞行航点。
• 面向闭环运行。 OpenFlyV2 不是只输出一次规划结果，而是持续接收视觉输入并滚动更新动作。每个动作块包含 12 个航点，系统在 Jetson Orin NX 上以 10 Hz 完成机载推理。
• 降低时序计算成本。 研究引入运动感知的时间记忆与动作先验，让模型能够利用历史状态和已有动作信息，减少闭环控制中重复处理的开销。
• 仿真数据覆盖两类能力。 作者构建了约 7 万条导航轨迹和 6 万条视觉语言指令—响应样本，用于同时训练导航与视觉语言理解能力。
• 验证仿真到现实的迁移。 模型未使用真实世界航空训练数据，仍迁移到实体四旋翼平台，并在四个真实环境中达到 48% 的导航成功率。

意义与局限

OpenFlyV2 的价值不只是把视觉语言模型“装上无人机”，而是尝试重新组织空中机器人的软件栈：语义理解、目标定位、空间推理和控制不再由多个彼此独立的模块串联完成，而是在共享表示下形成连续闭环。这种设计有望减少系统接口和通信依赖，也更适合网络不稳定或无法连接云端的场景。

不过，48% 的真实环境成功率也说明，机载多模态控制距离稳定实用仍有明显距离。摘要没有给出不同任务、环境和基线的详细拆分，也未说明失败案例与安全机制。未来评估需要进一步关注复杂动态障碍、长距离任务、异常恢复以及不同硬件平台上的泛化能力。总体而言，这项工作展示了一个重要方向：无人机模型不仅要“看懂”和“说清”，还必须在有限算力下持续、及时地把理解转成动作。

来源：Hugging Face Daily Papers