PRISM：面向非結構化環境中機器人導航的多模態地形測繪系統
PRISM是一種多模態感知系統，透過融合熱成像、光學和深度感測器，結合新型視覺變換器網路OmniUnet，實現非結構化環境中的地形分割與可通行性地圖生成，並在資源受限的嵌入式計算機上成功部署，支援自主導航。
來源arXiv Robotics作者: Raul Castilla-Arquillo, Carlos Perez-del-Pulgar, Levin Gerdes, Alfonso Garcia-Cerezo, Miguel A. Olivares-Mendez
在非結構化環境中，機器人導航面臨陡坡、岩石等複雜地形挑戰，傳統視覺感測器在弱光或惡劣條件下效能受限。熱成像技術透過捕捉溫度差異，可顯著提升地形分類的魯棒性。為此，研究人員提出PRISM系統，一種專為野外環境設計的整合感知方案。
PRISM採用定製感測器套件，同步採集對齊的RGB、深度和熱成像（RGB-D-T）資料。核心創新在於OmniUnet網路，這是一種基於視覺變換器的多模態語義分割架構，能夠高效融合不同模態特徵，實現沙地、草地、岩石等多種地形的精確分類。該網路在編碼器-解碼器結構中引入自注意力機制，增強了空間特徵提取能力。
研究團隊建立了兩個新的標註資料集——BASEPROD和LAENTIEC，覆蓋多種地形和光照條件。實驗表明，PRISM在分割精度上顯著優於單模態基線，特別是在弱光場景下，熱成像模態提供了關鍵判別資訊。此外，在真實野外實地測試中，PRISM部署於NVIDIA Jetson等低功耗嵌入式平臺，以即時速度生成可通行性地圖。該地圖直接輸入機器人的制導、導航與控制（GNC）子系統，實現完全自主的避障與路徑規劃。
PRISM的模組化設計使其易於移植到火星探測車、災害救援機器人等平臺。未來工作將探索動態環境下的線上適應能力，以及部分感測器失效時的魯棒執行策略。研究團隊已公開發布資料集和程式碼，以推動非結構化環境導航領域的發展。