双螺旋主动几何:基于LiDAR锚定的多视图深度估计与选择性弃权
DH-Active是一种轻量级、无需训练的几何后端方法,将LiDAR视为度量标尺而非唯一深度来源。近场返回通过PnP锚定相对位姿,无有效深度返回的可视点则三角化。视差/重投影门在几何条件不良时弃权,形成显式空洞。核心前端在CPU上仅需1.11毫秒,比DINOv2-L GPU分支快约38倍。在TUM RGB-D和ARKitScenes基准上,恢复深度中值相对误差为1.4%-6.7%,远场候选覆盖率达64.2%,误差13.4%。
研究人员提出了一种名为DH-Active的新方法,用于改进消费级深度传感器的多视图深度估计。该方法将LiDAR视为度量标尺,而非唯一的深度来源。近场LiDAR返回通过透视n点(PnP)算法锚定两个视图之间的度量相对位姿。随后,对于没有有效深度返回但可视觉跟踪的样本,在该位姿下进行三角化。
DH-Active的关键创新在于其选择性弃权机制:一个视差/重投影门在几何条件不良时放弃估计,留下显式空洞和选择性评分,而不是强制输出不可靠的深度。这种设计避免了在不确定区域引入误差。
该方法的计算效率极高。核心前端(包括螺旋采样、稀疏反投影和空洞分类)在CPU上使用OpenCV以14个线程运行时,中值延迟仅为1.11毫秒,比基于DINOv2-L的视觉分支在GPU上运行时快约38倍。在多个基准测试中,包括两个iPhone捕获数据以及公开的TUM RGB-D和ARKitScenes数据集,DH-Active恢复的深度中值相对误差在1.4%至6.7%之间。在ARKitScenes的一个受控协议中,仅使用2米内的返回设置尺度,并以独立激光扫描作为真值,DH-Active对可评估的远场候选实现了64.2%的场景中值覆盖率,中值相对误差为13.4%。相比之下,直接由设备轨迹进行三角化的方法不可用。
论文还报告了多种失败的替代方案,包括单帧散焦、经典聚焦堆叠深度、散焦-LiDAR融合、基于良好视觉惯性跟踪的点对点ICP以及关注空洞重采样。值得注意的是,一个26亿参数的学习模型在标尺校准后仍然更准确,但DH-Active的贡献更窄:提供度量稀疏深度、显式弃权、零学习参数以及接近毫秒级的CPU计算成本。 DH-Active的提出具有重要实际意义,尤其是在需要实时深度估计且计算资源有限的移动设备上。它展示了如何有效结合稀疏的LiDAR测量与视觉特征,通过几何先验而非大规模学习来获得可靠的深度信息。这种思路对于降低系统复杂度、提高推理速度以及增强对未知环境的适应性具有启发价值。未来工作可以探索如何将DH-Active的选择性弃权机制与学习模型融合,在保持效率的同时进一步提升精度。