ロボットアームベースの分光センシングによるイチゴの位置決めと非破壊甘味計測

農業における品質管理では甘味の正確な評価が不可欠ですが、従来の方法は破壊的サンプリングに依存し、スケーラビリティに課題があります。最近arXivに掲載された論文（番号2606.28555）は、イチゴの検出、位置特定、接近、非破壊甘味推定のためのロボットアームベースの分光センシングシステムを提案しています。このシステムは、閉ループパイプラインで知覚、キャリブレーション、ロボット制御を統合しており、先進的なロボット技術と農業センシングの融合の実現可能性を示しています。

具体的には、研究チームはYOLOv11s検出器を採用し、リアルタイムのイチゴ検出を実現しました。これは軽量でありながら効率的な深層学習モデルで、複雑な環境下でも素早くターゲットを識別できます。幾何学的に一貫したターゲット位置特定を実現するため、RGB-ToFキャリブレーションとマスク・深度アラインメントを実施しました。RGB-ToFセンサーはカラー画像と飛行時間深度情報を融合し、精密なキャリブレーションにより検出されたイチゴのピクセル座標を3次元空間の実際の位置にマッピングできます。マスク・深度アラインメントにより、セグメンテーションマスクが深度マップと正確に対応し、ターゲットの3次元境界が決定されます。

信頼性の高いロボット操作を実現するため、チームはカスタムのアイインハンドハンドアイキャリブレーションワークフローを開発しました。アイインハンド構成では、カメラがロボットアームの先端に取り付けられ、アームと共に移動します。ハンドアイキャリブレーションの目標は、グリッパーリンクと前面カメラ間の剛体変換（回転と並進）を推定することです。正確なキャリブレーションにより、カメラ座標系で検出された果実ターゲットの座標をロボットベースフレームに変換し、アームが正確にターゲットに接近できるようになります。

これらの知覚とキャリブレーション情報に基づき、ロボットはウェイポイントベースの探索と増分閉ループ接近戦略を実行します。まずロボットは事前定義されたウェイポイントを探索し、イチゴのターゲットを探します。ターゲットを検出すると、ロボットは増分閉ループ制御で徐々に接近し、同時にターゲット位置を更新し続け、センサーが甘味感知に最適な作業距離に正確に配置されるようにします。この戦略により、システムの堅牢性と精度が向上します。

実験結果は、強力なエンドツーエンドパフォーマンスを示しました。42回の試行でエンドツーエンド成功率は88.10%、検出の堅牢性は95.24%、そしてターゲット検出後の接近実行成功率は100%でした。ハンドアイキャリブレーション手法の比較では、Andreff法が単一実行で最小の並進ノルムを示す一方、Park法はサンプル間の一貫性が高く、より安定した下流ロボット動作をもたらすことが分かりました。残存する失敗は主にセンシング段階、特に困難な深度/反射率条件下での有効領域抽出に集中していました。

全体として、この研究はRGB-ToF知覚、ロボット操作、非破壊センシングの統合の実現可能性を実証し、実際のイチゴ品質評価のためのスケーラブルなベースラインを提供します。将来は、視覚言語行動モデルなどの学習ベースのポリシーを統合し、よりインテリジェントな農業自動化を実現できる可能性があります。この研究はYi Yangらによって行われ、全51ページ、23の図表を含み、分野はロボティクスと信号処理です。