PRISM：面向非结构化环境中机器人导航的多模态地形测绘系统
PRISM是一种多模态感知系统，通过融合热成像、光学和深度传感器，结合新型视觉变换器网络OmniUnet，实现非结构化环境中的地形分割与可通行性地图生成，并在资源受限的嵌入式计算机上成功部署，支持自主导航。
来源arXiv Robotics作者: Raul Castilla-Arquillo, Carlos Perez-del-Pulgar, Levin Gerdes, Alfonso Garcia-Cerezo, Miguel A. Olivares-Mendez
在非结构化环境中，机器人导航面临陡坡、岩石等复杂地形挑战，传统视觉传感器在弱光或恶劣条件下性能受限。热成像技术通过捕捉温度差异，可显著提升地形分类的鲁棒性。为此，研究人员提出PRISM系统，一种专为野外环境设计的集成感知方案。
PRISM采用定制传感器套件，同步采集对齐的RGB、深度和热成像（RGB-D-T）数据。核心创新在于OmniUnet网络，这是一种基于视觉变换器的多模态语义分割架构，能够高效融合不同模态特征，实现沙地、草地、岩石等多种地形的精确分类。该网络在编码器-解码器结构中引入自注意力机制，增强了空间特征提取能力。
研究团队创建了两个新的标注数据集——BASEPROD和LAENTIEC，覆盖多种地形和光照条件。实验表明，PRISM在分割精度上显著优于单模态基线，特别是在弱光场景下，热成像模态提供了关键判别信息。此外，在真实野外实地测试中，PRISM部署于NVIDIA Jetson等低功耗嵌入式平台，以实时速度生成可通行性地图。该地图直接输入机器人的制导、导航与控制（GNC）子系统，实现完全自主的避障与路径规划。
PRISM的模块化设计使其易于移植到火星探测车、灾害救援机器人等平台。未来工作将探索动态环境下的在线适应能力，以及部分传感器失效时的鲁棒运行策略。研究团队已公开发布数据集和代码，以推动非结构化环境导航领域的发展。