分層提示與雙LLM模組用於機器人任務與運動規劃

近日，一篇提交至arXiv的論文（arXiv:2605.08330）提出了一種新穎的分層語言驅動框架，用於機器人任務與運動規劃，旨在提升服務與輔助場景中人機互動的自然性和直觀性。該框架的核心是採用兩個大語言模型（LLM）模組：一個作為高層規劃代理，另一個作為低層空間推理子模組。高層規劃代理透過ReAct風格的提示處理使用者用自然語言發出的指令，並生成一系列動作（如抓取、放置、釋放）。當需要精確空間放置時（例如，“將杯子放在盤子旁邊”），低層空間推理子模組會被呼叫，該模組基於物體幾何形狀和場景佈局進行3D推理，從而確定精確的放置位置。為了感知環境，系統整合了YOLOX-GDRNet實現物體檢測與姿態估計，並透過運動執行模組完成實際操控。研究團隊在24個測試場景中對系統進行了評估，這些場景涵蓋了從簡單的空間指令到複雜的高層指令，甚至包括一些不可行的請求。實驗結果顯示，系統整體任務成功率達到了86%。該研究為開發更智慧、更自然的服務機器人提供了新思路，特別是在需要理解複雜空間關係的場景中。論文作者包括Karolina Żróbek等五位研究者。此外，系統在處理不可行請求時表現出一定的魯棒性，能夠識別並拒絕無法執行的任務。未來工作可能包括在真實機器人平臺上部署該系統，以及進一步最佳化低層推理模組的效率和精度。該框架在家庭服務、醫療輔助和工業協作等場景中具有廣泛的應用前景。