基於機械臂的光譜傳感系統實現草莓定位與無損甜度測量

在農業品質控制中，甜度的準確評估至關重要，但傳統方法依賴破壞性採樣且難以規模化。最近發表在arXiv上的一篇論文（編號2606.28555）提出了一種基於機械臂的光譜傳感系統，用於草莓的檢測、定位、接近和無損甜度估計。該系統在閉環流程中集成了感知、校準和機器人控制，展示了將先進機器人技術與農業傳感相結合的可行性。

具體而言，研究團隊採用YOLOv11s檢測器進行實時草莓檢測，這是一種輕量級但高效的深度學習模型，能夠在複雜環境中快速識別目標。為了獲得幾何一致的目標定位，他們進行了RGB-ToF校準和掩膜到深度對齊。RGB-ToF傳感器融合了彩色圖像和飛行時間深度信息，通過精確校準，可以將檢測到的草莓像素座標映射到三維空間中的實際位置。掩膜到深度對齊則確保分割掩膜與深度圖準確對應，從而確定目標的三維邊界。

為了實現可靠的機器人操作，團隊開發了自定義的眼在手上手眼標定工作流。眼在手上的配置意味着攝像頭固定在機械臂末端，跟隨機械臂移動。手眼標定的目標是估算夾爪鏈接與前置攝像頭之間的剛體變換（旋轉和平移）。通過精確的標定，可以將相機座標系中檢測到的水果目標座標轉換到機器人基座座標系，使機械臂能夠準確接近目標。

基於這些感知和標定信息，機器人執行基於航點的搜索和增量閉環接近策略。首先，機器人通過預定義的航點進行搜索，尋找草莓目標。一旦檢測到目標，機器人採用增量閉環控制逐步接近，同時不斷更新目標位置，確保傳感器能夠準確到達最佳工作距離進行甜度感知。這種策略提高了系統的魯棒性和準確性。

實驗結果表明，系統端到端性能強勁。在42次試驗中，端到端成功率為88.10%，檢測魯棒性高達95.24%，而且一旦檢測到目標，接近執行的成功率達到100%。手眼標定方法的比較顯示，Andreff方法在單次運行中可以獲得最小的平移範數，但Park方法提供了更好的跨樣本一致性，從而帶來更穩定的下游機器人行為。殘留失敗主要集中在感知階段，尤其是在困難深度或反射率條件下，系統難以提取有效區域進行甜度估計。

總體而言，這項工作證明了將RGB-ToF感知、機器人操作和無損傳感集成的可行性，為實際的草莓品質評估提供了可擴展的基線。未來，該系統可以進一步集成學習型策略，如視覺-語言-動作模型，實現更智能的農業自動化。該研究由Yi Yang等人完成，全文共51頁，包含23張圖表，領域為機器人學和信號處理。