N3DV数据集效果问题

[bobfxq]

你好，感谢您的工作。我对N3DV数据集中的flame_steak进行的训练，但是最终的测试结果只有25db。

[WuJH2001]

Hi @bobfxq ,感谢您的关注， 25dB 确实出乎意料，不知您是否可以提供可视化的视频或者图片？因为我们测试的时候从未出现过这么低的结果，您也可以查看我们提供的训练后的模型 ：https://onedrive.live.com/?redeem=aHR0cHM6Ly8xZHJ2Lm1zL2YvYy84MDczNzAyOGE3OTIxYjcwL0VvSTZLYWhIOUtsS3JaTXZKMGVCR3FnQlNHaUItQWcwY1ZIcHhYeGIxQU1fNEE%5FZT1kdGtXMmU&id=80737028A7921B70%21sa8293a82f4474aa9ad932f2747811aa8&cid=80737028A7921B70

[bobfxq]

感谢您的回复，这是某一帧的预测图

[WuJH2001]

感谢您提供的可视化、可以看到 Swift4D 对于动态区域的重建看起来是没有问题的，只是空中有一些floater 遮挡住了测试镜头，您也可以尝试渲染一个环绕视频看，左边那些确实是floater干扰了测试视角（可以用我们提供的渲染代码）。在3DGS 领域 floater 情况是比较常见的、我们在

Swift4d/train.py

Lines 304 to 307 in f3d35d4

	gaussians._max_weight = torch.max(gaussians._max_weight, last_max_weight)
	if iteration >= opt.weight_prune_from_iter and iteration % opt.weight_prune_interval == 0 :
	gaussians.weight_prune(opt.weight_prune_threshold)

也做了一些权重裁剪高斯、让一些没在训练视角出现的高斯进行裁剪、但是似乎还不能完全去除这个问题。 floater 问题确实也是一个 3DGS 领域的常见问题。关于解决方案可以查看一些高斯密度控制的论文会有帮助。

这也确实是 Swift4D 的一个不足、做动静分离的时候可能把这一块 floater 当成静态从而导致一直在空中漂浮

[bobfxq]

谢谢您提供的建议，想问下您当时是如何解决避免这个问题的呢

[WuJH2001]

Hi @bobfxq , 我们并不是专门做这个方向的，所以只是简单的多跑几次、选了一个没有 floater 干扰的情况做测试~