图像生成扩散模型通常在像素空间或压缩后的潜空间中工作,3D生成也逐渐形成类似路线:先用变分自编码器(VAE)把几何编码成紧凑表示,再让生成模型学习这个表示。Direct3D-V3提出另一种做法:跳过VAE,直接让扩散Transformer(DiT)在原生体素域生成有符号距离场(SDF)网格。
核心做法
SDF为体素记录其到物体表面的距离信息,能够表达几何表面。直接预测SDF,意味着生成器面对的是几何本身,而不是经过编码、解码的代理表示。论文认为,这样可以避免VAE重建环节带来的信息损失,并让训练目标直接落在体素几何上。不过,直接处理原始网格也要求模型在保持表面连续性和拓扑合理性方面更加谨慎。
为此,Direct3D-V3加入了几项专门设计:
- **邻域流形正则:**对相邻体素施加隐式流形约束,以减少生成不封闭、难以制造的表面。
- **从SDF到网格的监督:**使用Marching Cubes将预测的SDF转换为网格,并通过渲染法线损失,让预测结果接受与表面方向相关的监督。
- **相机参数辅助预测:**除几何外,模型还预测条件图像对应的相机参数,促使网络学习图像观察与三维形状之间的联系。
论文称,这种原生体素建模能够产出局部细节更丰富的网格。作者还提出一种生成式重建扩展:在扩散生成过程中交替加入基于法线的细化,使结果更贴合已观察到的视角,同时利用生成先验补全不可见区域。现有材料没有提供量化对比数据或具体实验设置,因此“细节更丰富”等效果应视为论文报告的结论,尚不宜据此判断其相对现有方法的优势幅度。
意义与限制
Direct3D-V3触及3D生成中的一项取舍:潜空间压缩通常有利于降低建模难度,但重建环节可能成为瓶颈;直接建模原始几何则减少了这层表示转换,却把更重的几何一致性要求交给扩散模型。流形约束、法线监督和相机预测,正是为缓解这一难题而设计。
如果该路线能在效率、分辨率和不同类别物体上保持稳定,它可能为图像到3D生成及单视图重建提供一种不依赖VAE的选择。但原生体素方案的实际成本、泛化能力和与潜空间方法的公平比较,仍需要完整论文和实验结果来验证。它的价值目前更在于给出清晰的建模方向:不先压缩几何,而是尝试直接学习几何本身。
评论
正在确认登录状态……
正在加载评论……