分层提示与双LLM模块用于机器人任务与运动规划

近日，一篇提交至arXiv的论文（arXiv:2605.08330）提出了一种新颖的分层语言驱动框架，用于机器人任务与运动规划，旨在提升服务与辅助场景中人机交互的自然性和直观性。该框架的核心是采用两个大语言模型（LLM）模块：一个作为高层规划代理，另一个作为低层空间推理子模块。高层规划代理通过ReAct风格的提示处理用户用自然语言发出的指令，并生成一系列动作（如抓取、放置、释放）。当需要精确空间放置时（例如，“将杯子放在盘子旁边”），低层空间推理子模块会被调用，该模块基于物体几何形状和场景布局进行3D推理，从而确定精确的放置位置。为了感知环境，系统集成了YOLOX-GDRNet实现物体检测与姿态估计，并通过运动执行模块完成实际操控。研究团队在24个测试场景中对系统进行了评估，这些场景涵盖了从简单的空间指令到复杂的高层指令，甚至包括一些不可行的请求。实验结果显示，系统整体任务成功率达到了86%。该研究为开发更智能、更自然的服务机器人提供了新思路，特别是在需要理解复杂空间关系的场景中。论文作者包括Karolina Żróbek等五位研究者。此外，系统在处理不可行请求时表现出一定的鲁棒性，能够识别并拒绝无法执行的任务。未来工作可能包括在真实机器人平台上部署该系统，以及进一步优化低层推理模块的效率和精度。该框架在家庭服务、医疗辅助和工业协作等场景中具有广泛的应用前景。