近日，arXiv上釋出了一篇題為《Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction》的研究論文，由Wei-Teng Chu等三位作者共同完成。該研究聚焦於自動駕駛戶外場景中的稀疏視角神經重建問題。在自動駕駛場景中，相機通常沿狹窄的前向軌跡移動，導致多視角重疊有限，這使得基於稀疏視角的神經重建極具挑戰性。雖然單目深度估計器能夠提供密集的幾何先驗資訊，但其預測存在噪聲，且不同影像區域的可靠性並不一致。
針對這一難題，研究者提出了一種可靠性感知的單目深度監督策略。他們採用Depth Anything V2作為密集的單目深度先驗，透過尺度-偏移擬合將其預測對齊到度量深度，並利用僅基於RGB的基線模型生成的光度掩碼，選擇性地施加深度監督。這種方法的核心在於，透過掩碼篩選出可靠的低誤差區域，從而避免不可靠深度預測對重建質量產生負面影響。
為了評估該方法的有效性，研究者選取了兩種具有代表性的場景表示模型：Mip-NeRF-360和Splatfacto。在KITTI Seq02資料集的稀疏視角設定下（每兩張影像選取一張），實驗結果顯示：對於Mip-NeRF-360，掩碼單目深度監督僅帶來微弱的渲染增益，並且未能改善度量幾何；然而，對於Splatfacto，該策略帶來了顯著提升——PSNR從14.903提升至15.932，RMSE從0.542降低至0.100。進一步的KITTI Seq05實驗以及匹配比率掩碼消融研究表明，Splatfacto的增益確實來源於選擇可靠的低誤差區域，而非簡單地減少深度監督畫素的數量。
此外，研究者還在Bicycle場景上進行了實驗。該場景中多視角覆蓋已經較強，此時深度監督雖然能夠改善幾何形狀，但會損害RGB渲染質量。這一發現表明，單目深度先驗的適用性取決於具體場景條件。
綜合所有實驗結果，研究者得出重要結論：單目深度先驗對於欠約束的稀疏視角重建是有用的，但必須選擇性地應用，並採用適中的權重。該研究為自動駕駛場景下的神經重建提供了有價值的指導，即並非所有深度先驗都同等可靠，透過可靠性感知的監督策略可以更有效地利用這些先驗資訊。論文共計10頁，包含6張圖表，所有作者貢獻均等。