農業用ロボットの視覚ナビゲーションに関する研究は、これまで主に昼間の明るい環境を前提として進められてきました。しかし、夜間の農作業には、作物や土壌の24時間監視、果実の収穫、夜行性害虫の検出など、多くの利点があります。既存の視覚ベースのシステムは、大規模で高品質な注釈付き画像データセットに依存しており、夜間のデータを取得することは非常に困難です。この課題を解決するため、本研究では教師なし画像変換フレームワークを提案します。このフレームワークは、昼間の植物列RGB画像を近赤外(NIR)夜間画像に変換し、画素単位の教師データを必要としません。これにより、昼間のセマンティックラベルをそのまま夜間の知覚モデルの訓練に再利用することが可能になります。
提案手法の重要な特徴は、事前学習済みのContrastive Language-Image Pre-training(CLIP)モデルを組み込むことで、昼夜変換時の意味的一貫性を保証する点です。さらに、夜間シーンにおける近赤外照明の有効範囲が限られているという物理的な制約を考慮し、可視性マスクを導入しています。これにより、限られた照明条件下でも現実的な画像を生成できます。
評価のために、研究チームは夜間視覚機能を備えた移動ロボットを用いて農場でデータを収集し、AgriNightデータセットを構築しました。このデータセットは昼間428枚、夜間549枚の合計977枚の画像で構成され、すべての画像に手動で画素単位のセマンティックラベルが付与されています。AgriNightは夜間農業視覚ナビゲーションの初のベンチマークとして提供され、今後の研究の基盤となります。実験の結果、提案手法は最先端の画像変換ベースラインと比較して高い画質を達成し、下流のセマンティックセグメンテーション性能も顕著に向上しました。さらに、実際のロボットによる夜間自律ナビゲーション実験でも有効性が確認され、実用的な価値が示されました。データとコードはGitHubで公開されており、研究の再現性を確保しています。本研究成果はIROS2026に採択され、農業ロボットの24時間稼働を実現するための重要な一歩として期待されています。