雙螺旋主動幾何:基於LiDAR錨定的多視圖深度估計與選擇性棄權
DH-Active是一種輕量級、無需訓練的幾何後端方法,將LiDAR視為度量標尺而非唯一深度來源。近場返回通過PnP錨定相對位姿,無有效深度返回的可視點則三角化。視差/重投影門在幾何條件不良時棄權,形成顯式空洞。核心前端在CPU上僅需1.11毫秒,比DINOv2-L GPU分支快約38倍。在TUM RGB-D和ARKitScenes基準上,恢復深度中值相對誤差為1.4%-6.7%,遠場候選覆蓋率達64.2%,誤差13.4%。
研究人員提出了一種名為DH-Active的新方法,用於改進消費級深度傳感器的多視圖深度估計。該方法將LiDAR視為度量標尺,而非唯一的深度來源。近場LiDAR返回通過透視n點(PnP)算法錨定兩個視圖之間的度量相對位姿。隨後,對於沒有有效深度返回但可視覺跟蹤的樣本,在該位姿下進行三角化。
DH-Active的關鍵創新在於其選擇性棄權機制:一個視差/重投影門在幾何條件不良時放棄估計,留下顯式空洞和選擇性評分,而不是強制輸出不可靠的深度。這種設計避免了在不確定區域引入誤差。
該方法的計算效率極高。核心前端(包括螺旋採樣、稀疏反投影和空洞分類)在CPU上使用OpenCV以14個線程運行時,中值延遲僅為1.11毫秒,比基於DINOv2-L的視覺分支在GPU上運行時快約38倍。在多個基準測試中,包括兩個iPhone捕獲數據以及公開的TUM RGB-D和ARKitScenes數據集,DH-Active恢復的深度中值相對誤差在1.4%至6.7%之間。在ARKitScenes的一個受控協議中,僅使用2米內的返回設置尺度,並以獨立激光掃描作為真值,DH-Active對可評估的遠場候選實現了64.2%的場景中值覆蓋率,中值相對誤差為13.4%。相比之下,直接由設備軌跡進行三角化的方法不可用。
論文還報告了多種失敗的替代方案,包括單幀散焦、經典聚焦堆疊深度、散焦-LiDAR融合、基於良好視覺慣性跟蹤的點對點ICP以及關注空洞重採樣。值得注意的是,一個26億參數的學習模型在標尺校準後仍然更準確,但DH-Active的貢獻更窄:提供度量稀疏深度、顯式棄權、零學習參數以及接近毫秒級的CPU計算成本。 DH-Active的提出具有重要實際意義,尤其是在需要實時深度估計且計算資源有限的移動設備上。它展示瞭如何有效結合稀疏的LiDAR測量與視覺特徵,通過幾何先驗而非大規模學習來獲得可靠的深度信息。這種思路對於降低系統複雜度、提高推理速度以及增強對未知環境的適應性具有啓發價值。未來工作可以探索如何將DH-Active的選擇性棄權機制與學習模型融合,在保持效率的同時進一步提升精度。