NightSight：利用事件相機在黑暗環境中進行被動導航
NightSight提出了一種輕量級感知方法，結合單目事件相機、編碼孔徑鏡頭和紅外點陣投影器，使小型飛行器能夠在完全黑暗的環境中自主導航。系統通過編碼孔徑產生深度相關的模糊特徵，並用卷積神經網絡解碼為密集深度圖，僅使用合成數據訓練即可零樣本泛化到真實場景。在NVIDIA Jetson Orin Nano上以20Hz實時運行，2.5米範圍內誤差僅7.0釐米（2.80%）。
文章情報
要點
- 結合事件相機、編碼孔徑和紅外投影，實現黑暗中的被動深度感知
- 僅用合成數據訓練的CNN可零樣本泛化到複雜真實場景
- 在低功耗硬件上以20Hz實時運行，精度達釐米級
- 為資源受限的小型飛行器黑暗導航提供可行方案
為甚麼重要
這條新聞值得關注，因為結合事件相機、編碼孔徑和紅外投影，實現黑暗中的被動深度感知。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
小型飛行器因其敏捷性和低成本，非常適合在狹窄危險環境中執行搜索救援任務。然而，在完全黑暗中自主導航極具挑戰，因為傳統感知系統對載荷、功耗和計算能力要求過高。NightSight提出了一種創新方案：利用事件相機的高動態範圍特性，結合編碼孔徑鏡頭和紅外點陣投影器。投影的紅外圖案經編碼孔徑成像後，會產生與深度相關的模糊特徵，這些特徵隱含場景幾何信息。研究團隊訓練了一個卷積神經網絡，僅從簡單平面牆的合成數據中學習，就能解碼這些特徵生成密集深度圖，且無需微調即可泛化到真實複雜場景。系統在NVIDIA Jetson Orin Nano上以20Hz實時運行，2.5米範圍內平均絕對誤差僅7.0釐米（相對誤差2.80%）。此外，論文還分析了不同編碼孔徑設計對深度估計性能的影響。這一成果表明，結合結構化照明、編碼光學和事件傳感有望為完全黑暗環境下的穩健感知與導航開闢新路徑。該工作的意義在於，它提供了一種低功耗、輕量級的解決方案，使得小型飛行器能夠在無任何環境光的情況下實現自主導航，這對於搜救任務、地下空間探索以及軍事偵察等領域具有重要的應用價值。未來的研究方向可能包括擴大探測距離、提高魯棒性以及集成到實際飛行系統中。