实现全天候农业机器人：用于夜间视觉导航的无监督昼夜跨模态图像翻译
提出一种无监督图像翻译框架，将白天植物行RGB图像转换为近红外（NIR）夜间图像，无需逐像素监督，从而重用白天语义标签训练夜间感知模型。利用预训练CLIP模型保持语义一致性，并引入可见性掩码处理NIR照明有效范围有限的问题。在AgriNight数据集上评估，该数据集包含428张白天和549张夜间图像，是首个夜间农业视觉导航基准。实际机器人夜间导航实验验证了有效性。
农业机器人的视觉导航研究长期以来主要针对白天光照充足的条件进行开发，然而夜间作业在农业生产中具有不可忽视的优势，例如24小时不间断的作物与土壤监测、夜间果实采摘以及夜行性害虫的检测等。传统的视觉导航系统依赖于大量带有精确标注的图像数据集，而获取夜间场景下的高质量标注数据成本高昂且极为困难。针对这一瓶颈，研究人员提出了一种创新的无监督图像翻译框架，该框架能够将白天拍摄的植物行RGB图像自动转换为近红外（NIR）夜间图像，整个过程无需任何像素级别的配对监督，从而使得白天场景下的语义标签可以直接用于训练夜间的感知模型。
该框架的核心创新在于引入了预训练的对比语言-图像预训练（CLIP）模型，利用其强大的语义理解能力确保昼夜转换过程中的语义一致性，避免因光照变化导致的语义漂移。此外，考虑到近红外照明在夜间实际场景中有效照射范围有限的物理特性，研究人员专门设计了可见性掩码模块，以模拟有限照明条件下的视觉信息，从而提升生成图像的真实性和可用性。
为了验证方法的有效性，研究团队利用配备夜视功能的移动机器人在真实农田环境中采集了大量数据，构建了名为AgriNight的数据集，其中包括428张白天图像和549张夜间图像，所有图像均经过人工逐像素语义标注。该数据集作为首个专门针对夜间农业视觉导航的基准测试集，为后续研究提供了重要的标准化评估平台。实验结果表明，所提出的方法在图像生成质量和下游语义分割任务性能上均显著优于当前最先进的图像翻译基线模型。此外，在实际物理机器人的夜间自主导航实验中，该框架也展现出了良好的实用性和鲁棒性。目前，相关数据和代码已在GitHub开源发布。该研究工作已被国际顶级会议IROS2026接收，为农业机器人实现真正的全天候自主作业提供了关键的技术支撑，有望推动农业自动化和精准农业的进一步发展。