Foundation4D：把自动驾驶感知与场景重建统一到一个模型中

导语

自动驾驶系统通常把深度估计、三维目标检测、占据预测和场景重建拆成多个模块。这样做便于分别优化，却也容易造成信息割裂：几何结构能帮助检测车辆和行人，目标信息同样可以反过来约束空间理解。NVIDIA 发布的 Foundation4D，试图以一个统一的前馈模型处理这些任务，并将输入范围从单帧图像扩展到多摄像头驾驶视频。

核心方法

Foundation4D 的输入是来自多个摄像头的连续驾驶视频，输出覆盖四类结果：场景几何估计、三维目标检测、语义占据预测，以及基于高斯表示的场景重建。模型采用共享骨干网络，通过因子化时空注意力融合不同摄像头和不同时间的信息。相比直接进行完整的时空注意力，这种设计旨在降低跨视角、跨帧建模的计算负担，同时保留视频上下文带来的深度和运动线索。

论文还将视频推理流程作为系统的一部分进行设计。其一，利用位姿图优化细化摄像头轨迹，减少连续观测之间的位姿不一致；其二，将不同输入窗口中的目标轨迹进行拼接，形成更连续的对象跟踪结果。换言之，Foundation4D 不只是把多个任务放在同一个网络中，也尝试处理长视频推理时的几何与时间一致性问题。

数据与结果

研究团队同时发布了 PAI-Foundation4D 基准，包含 1,253 段驾驶视频，并提供稠密深度和语义占据标注。根据论文摘要，在针对不同基准进行微调后，Foundation4D 在 Waymo 和 nuScenes 上取得较低的深度 AbsRel，在 nuScenes 的检测 mAP 以及 OpenOccupancy 的占据 mIoU 对比中也达到领先水平。这里的结果依赖具体基准和微调设置，不能简单理解为在所有自动驾驶场景中都全面胜出。

多任务实验给出了统一建模的直接证据：将检测与几何、占据共同训练，相比仅训练检测，可使顶级类别的 mAP 提升 1.2 个百分点；将检测加入几何训练后，相机到车体坐标系的平移误差较几何单任务训练降低 13.4%。这些结果表明，不同任务之间的监督信号可能形成互补，而不是单纯共享计算资源。

意义与限制

Foundation4D 的价值在于展示了一条从“模块集合”走向“统一场景理解模型”的路线。几何估计和轨迹预测还被用作无激光雷达 NuRec 场景重建的先验，为自动驾驶仿真数据生成提供了新的接口。不过，论文摘要并未给出完整的参数规模、实时延迟、各数据集的详细数值或复杂天气条件下的表现，因此其工程部署成本和泛化能力仍需结合完整论文与实验复现进一步评估。

总体来看，这项工作把感知、时序建模和重建放到了同一框架下，也通过新基准推动了稠密深度与语义占据数据建设。对于自动驾驶研究而言，下一步关键问题将是：统一模型能否在保持精度的同时满足车端算力、延迟和安全验证要求。

来源：Hugging Face Daily Papers