近日，arXiv上发布了一篇题为《Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction》的研究论文，由Wei-Teng Chu等三位作者共同完成。该研究聚焦于自动驾驶户外场景中的稀疏视角神经重建问题。在自动驾驶场景中，相机通常沿狭窄的前向轨迹移动，导致多视角重叠有限，这使得基于稀疏视角的神经重建极具挑战性。虽然单目深度估计器能够提供密集的几何先验信息，但其预测存在噪声，且不同图像区域的可靠性并不一致。
针对这一难题，研究者提出了一种可靠性感知的单目深度监督策略。他们采用Depth Anything V2作为密集的单目深度先验，通过尺度-偏移拟合将其预测对齐到度量深度，并利用仅基于RGB的基线模型生成的光度掩码，选择性地施加深度监督。这种方法的核心在于，通过掩码筛选出可靠的低误差区域，从而避免不可靠深度预测对重建质量产生负面影响。
为了评估该方法的有效性，研究者选取了两种具有代表性的场景表示模型：Mip-NeRF-360和Splatfacto。在KITTI Seq02数据集的稀疏视角设定下（每两张图像选取一张），实验结果显示：对于Mip-NeRF-360，掩码单目深度监督仅带来微弱的渲染增益，并且未能改善度量几何；然而，对于Splatfacto，该策略带来了显著提升——PSNR从14.903提升至15.932，RMSE从0.542降低至0.100。进一步的KITTI Seq05实验以及匹配比率掩码消融研究表明，Splatfacto的增益确实来源于选择可靠的低误差区域，而非简单地减少深度监督像素的数量。
此外，研究者还在Bicycle场景上进行了实验。该场景中多视角覆盖已经较强，此时深度监督虽然能够改善几何形状，但会损害RGB渲染质量。这一发现表明，单目深度先验的适用性取决于具体场景条件。
综合所有实验结果，研究者得出重要结论：单目深度先验对于欠约束的稀疏视角重建是有用的，但必须选择性地应用，并采用适中的权重。该研究为自动驾驶场景下的神经重建提供了有价值的指导，即并非所有深度先验都同等可靠，通过可靠性感知的监督策略可以更有效地利用这些先验信息。论文共计10页，包含6张图表，所有作者贡献均等。