观察质量至关重要:通过面向失败分析实现鲁棒的多鱼眼相机标定
多鱼眼相机系统标定具有挑战性,现有方法依赖经验规则。本文通过面向失败的分析揭示内在初始化是主要失败原因,并提出CO-Calib框架,将鲁棒的学习目标检测器与错误分析引导的帧选择器结合,显著提高成功率。
多鱼眼相机系统在机器人、自动驾驶和虚拟现实等领域中广泛应用,但其标定过程随着设备尺寸、相机布局多样性和视场角的增加而变得极具挑战。现有的标定流水线通常能够联合优化内参、外参和标定板位姿,但这些方法的成功高度依赖于经验性的拍摄规则以及提供给优化求解器的观测质量。本文通过面向失败的分析系统研究了这种依赖性。作者发现,标定失败的主要原因并非检测器召回率损失或全局图像平面分布不平衡,而是内参初始化问题。具体而言,当观测数据的径向跨度有限时,焦距与鱼眼投影形状参数会发生耦合,导致病态的更新过程,从而引发标定失败。基于这一洞察,论文提出了CO-Calib——一个即插即用的标定数据构建框架。该框架结合了基于学习的鲁棒目标检测器和错误分析引导的帧选择器,能够构建初始化友好的锚点、多相机共视约束以及覆盖补全帧,而无需改变现有的标定工作流或优化后端。在合成数据和真实多鱼眼系统上的大量实验表明,CO-Calib将整体标定成功率从68.1%提升至99.3%,同时提高了外参精度并增强了实际标定稳定性。该框架的源代码将在GitHub上公开。