返回文章列表

Accord:用单目相机与IMU构建在线稠密度量地图

阅读约 3 分钟

单目相机能提供丰富的图像信息,却难以单独确定真实尺度;视觉惯性里程计(VIO)可以借助IMU估计带尺度的运动,但通常只输出稀疏几何。Accord瞄准这两者之间的落差:在只有一台相机和一个IMU的情况下,在线构建稠密、具有度量尺度的三维地图。

方法的关键环节

系统首先运行VIO滤波器,持续发布相机的度量位姿。随后,深度基础模型以这些位姿为条件,对短时间范围内的关键帧窗口预测深度。为了让模型预测与真实尺度对齐,Accord利用滤波器位姿对关键帧进行三角测量,得到度量三维锚点,并据此约束每个窗口。

仅有锚点并不足以消除逐帧深度误差。Accord还会比较可见图像之间的双向稠密深度:同一场景从不同关键帧推断出的结构应彼此吻合。系统据此估计并修正各图像的尺度偏差,同时保留锚点所建立的度量尺度。额外的上下文关键帧用于改善深度预测;窗口形成的子地图最后交由因子图融合,以整合多段观测。

这套设计的重点不是把VIO或深度网络单独当作完整地图系统,而是让两者分工:VIO提供尺度和运动约束,深度模型补足稠密结构,多视角一致性负责发现并校正局部尺度错误。因而,“Accord”强调的正是不同视图之间的几何协调。

作者报告的结果与限制

论文称,研究使用同一套地图配置评测五种公开相机—IMU设置,以及新增的Phone-rig/GoPro数据集,没有针对各数据集或设备单独调参。作者报告,在以Accord自身轨迹进行地图对齐的条件下,该方法在所有平台的5厘米阈值平均F-score上均达到最好或第二好的表现。这说明作者试图验证的是跨设备适用性,而非仅在单一数据集上的成绩;但摘要没有给出各平台的具体分数,因此不宜进一步推断优势幅度或实时性能。

值得留意的是,论文页面评论指出,附录中关于Hilti-Oxford IMU噪声设置与控制点误差的描述,和表13所列数值似乎不一致:文字提及的0.159米与表中1倍噪声设置对应的0.154米存在差异。现有材料不足以判断原因或影响范围,这处细节仍需作者澄清。

如果方法能在更多实际设备与场景中稳定工作,它有望降低稠密度量建图对专用深度相机或逐设备调参的依赖,对移动机器人和便携式三维采集具有参考价值。论文称代码与手机支架数据集将开放;其实际可复现性与跨场景表现,仍需结合完整论文和后续验证评估。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章