基于机械臂的光谱传感系统实现草莓定位与无损甜度测量

在农业品质控制中，甜度的准确评估至关重要，但传统方法依赖破坏性采样且难以规模化。最近发表在arXiv上的一篇论文（编号2606.28555）提出了一种基于机械臂的光谱传感系统，用于草莓的检测、定位、接近和无损甜度估计。该系统在闭环流程中集成了感知、校准和机器人控制，展示了将先进机器人技术与农业传感相结合的可行性。

具体而言，研究团队采用YOLOv11s检测器进行实时草莓检测，这是一种轻量级但高效的深度学习模型，能够在复杂环境中快速识别目标。为了获得几何一致的目标定位，他们进行了RGB-ToF校准和掩膜到深度对齐。RGB-ToF传感器融合了彩色图像和飞行时间深度信息，通过精确校准，可以将检测到的草莓像素坐标映射到三维空间中的实际位置。掩膜到深度对齐则确保分割掩膜与深度图准确对应，从而确定目标的三维边界。

为了实现可靠的机器人操作，团队开发了自定义的眼在手上手眼标定工作流。眼在手上的配置意味着摄像头固定在机械臂末端，跟随机械臂移动。手眼标定的目标是估算夹爪链接与前置摄像头之间的刚体变换（旋转和平移）。通过精确的标定，可以将相机坐标系中检测到的水果目标坐标转换到机器人基座坐标系，使机械臂能够准确接近目标。

基于这些感知和标定信息，机器人执行基于航点的搜索和增量闭环接近策略。首先，机器人通过预定义的航点进行搜索，寻找草莓目标。一旦检测到目标，机器人采用增量闭环控制逐步接近，同时不断更新目标位置，确保传感器能够准确到达最佳工作距离进行甜度感知。这种策略提高了系统的鲁棒性和准确性。

实验结果表明，系统端到端性能强劲。在42次试验中，端到端成功率为88.10%，检测鲁棒性高达95.24%，而且一旦检测到目标，接近执行的成功率达到100%。手眼标定方法的比较显示，Andreff方法在单次运行中可以获得最小的平移范数，但Park方法提供了更好的跨样本一致性，从而带来更稳定的下游机器人行为。残留失败主要集中在感知阶段，尤其是在困难深度或反射率条件下，系统难以提取有效区域进行甜度估计。

总体而言，这项工作证明了将RGB-ToF感知、机器人操作和无损传感集成的可行性，为实际的草莓品质评估提供了可扩展的基线。未来，该系统可以进一步集成学习型策略，如视觉-语言-动作模型，实现更智能的农业自动化。该研究由Yi Yang等人完成，全文共51页，包含23张图表，领域为机器人学和信号处理。