渲染画面里目标的轮廓分得准确,是否就意味着三维场景中的目标也被完整分离?在3D Gaussian Splatting(3DGS)中,答案未必如此。一个物体由许多高斯基元共同表示,但常见分割训练和评估主要围绕渲染视图展开。二维结果看起来正确,背后仍可能有部分属于目标的高斯没有被选中。
问题出在渲染监督传递信号的方式。多个高斯会沿视线方向参与同一像素的合成,透明度混合使不同基元对最终像素的贡献并不相同。基于渲染特征的监督,往往更集中地作用于贡献较大的高斯;被遮挡或贡献较小的基元则可能得到较弱训练信号。于是,模型可以学会复现可见视角中的掩码,却没有充分学到目标在三维表示中的完整范围。这种“看起来分对了,实际上没分全”的落差,也让单看渲染掩码难以衡量真正的三维分割质量。
论文提出VODA,一种可插入现有流程的体积监督目标。它利用像素邻域的局部深度结构,将共同参与像素生成的高斯按深度聚成簇;对于选定的深度簇,VODA直接监督其中的高斯,而不是只让训练信号依照它们对像素的渲染贡献分配。这样的设计旨在让贡献较低、此前容易被忽略的高斯也能获得明确监督。论文进一步分析发现,VODA能够补回这类低贡献高斯;简单地重新加权梯度或在空间中传播标签,则没有取得相当的效果。
为检验分割是否具备体积完整性,作者还构建了合成的Removal-3D基准,并提出Removal Depth Error(RDE)。评估思路不是只比对某个视角的分割掩码,而是比较移除预测目标与移除真实目标后产生的深度变化。若分割漏掉了目标的一部分,移除操作后的场景结果便可能与真实移除效果不同,深度变化因此提供了另一种检查方式。
据论文摘要,VODA在Removal-3D上持续改善四种基于渲染的基线方法的体积分割表现;在LERF和ScanNet上,性能则保持或有所提升。摘要没有给出具体数值,因此这些结果更适合作为方向性证据,而非对提升幅度的量化判断。
这项工作的意义在于提醒研究者区分“渲染结果正确”和“场景表示完整”这两个目标。对需要选取、移除或操作三维对象的应用而言,遗漏被遮挡的高斯可能让二维演示不易察觉的问题在对象操作时暴露出来。VODA尝试从监督机制上弥合这一缺口,Removal-3D与RDE则把评估重点推进到移除后的三维效果。它们为3DGS分割提供了新的训练与检验思路,但现有材料尚未说明其在不同场景类型、数据条件下的表现边界。
评论
正在确认登录状态……
正在加载评论……