NightSight：利用事件相机在黑暗环境中进行被动导航
NightSight提出了一种轻量级感知方法，结合单目事件相机、编码孔径镜头和红外点阵投影器，使小型飞行器能够在完全黑暗的环境中自主导航。系统通过编码孔径产生深度相关的模糊特征，并用卷积神经网络解码为密集深度图，仅使用合成数据训练即可零样本泛化到真实场景。在NVIDIA Jetson Orin Nano上以20Hz实时运行，2.5米范围内误差仅7.0厘米（2.80%）。
文章情报
要点
- 结合事件相机、编码孔径和红外投影，实现黑暗中的被动深度感知
- 仅用合成数据训练的CNN可零样本泛化到复杂真实场景
- 在低功耗硬件上以20Hz实时运行，精度达厘米级
- 为资源受限的小型飞行器黑暗导航提供可行方案
为什么重要
这条新闻值得关注，因为结合事件相机、编码孔径和红外投影，实现黑暗中的被动深度感知。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
小型飞行器因其敏捷性和低成本，非常适合在狭窄危险环境中执行搜索救援任务。然而，在完全黑暗中自主导航极具挑战，因为传统感知系统对载荷、功耗和计算能力要求过高。NightSight提出了一种创新方案：利用事件相机的高动态范围特性，结合编码孔径镜头和红外点阵投影器。投影的红外图案经编码孔径成像后，会产生与深度相关的模糊特征，这些特征隐含场景几何信息。研究团队训练了一个卷积神经网络，仅从简单平面墙的合成数据中学习，就能解码这些特征生成密集深度图，且无需微调即可泛化到真实复杂场景。系统在NVIDIA Jetson Orin Nano上以20Hz实时运行，2.5米范围内平均绝对误差仅7.0厘米（相对误差2.80%）。此外，论文还分析了不同编码孔径设计对深度估计性能的影响。这一成果表明，结合结构化照明、编码光学和事件传感有望为完全黑暗环境下的稳健感知与导航开辟新路径。该工作的意义在于，它提供了一种低功耗、轻量级的解决方案，使得小型飞行器能够在无任何环境光的情况下实现自主导航，这对于搜救任务、地下空间探索以及军事侦察等领域具有重要的应用价值。未来的研究方向可能包括扩大探测距离、提高鲁棒性以及集成到实际飞行系统中。