視覺-語言-動作(VLA)模型在機器人任務中展現出強大的泛化能力,但往往缺乏可解釋性,尤其在處理包含空間、時間和邏輯約束的複雜自然語言指令時表現不佳。針對這一問題,來自多所機構的研究者提出了STeP框架,該框架創新性地將信號時序邏輯(STL)作為連接高層語言理解與低層機器人執行的共享表示,從而實現了更精確、更可靠的機器人動作生成。
STeP框架的核心是一個分層架構。高層策略藉助視覺語言模型(VLM)將用户的自然語言指令分解為若干高層子任務,併為每個子任務生成相應的STL規範。STL是一種形式化語言,能夠精確描述時序和邏輯約束,如“在10秒內到達目標點”或“先抓取物體A再將其放置於B上”。這些規範將語言中的意圖轉化為機器人可執行的形式化約束。隨後,高層策略會根據子任務的特點選擇合適的低層策略。
低層策略有兩種執行模式:對於約束明確且需要精確控制的子任務,採用STL引導的模型預測控制(MPC)直接強制執行約束;對於感知複雜或需要接觸交互的行為,則採用學習得到的策略,此時STL規範用於在運行時監控執行過程,確保不違反關鍵約束。這種靈活的設計使得STeP能夠適應不同性質的子任務。
STL的引入貫穿整個規劃與執行流程。在計劃驗證階段,STL規範可用於檢查生成的子任務序列是否滿足整體指令的約束;在執行過程中,系統持續對實際軌跡進行STL監控,一旦檢測到偏離規範,立即觸發重新規劃。這一閉環機制確保了語言衍生計劃能夠在運行時被動態檢查、優化和修正。
研究者在真實的桌面操作環境中對STeP進行了評估。實驗涉及物體的拾取、放置、堆疊等典型任務,指令中包含了空間關係(如“左邊”)、時序順序(如“先…然後…”)和邏輯條件(如“如果…則…”)。結果表明,與傳統方法相比,STeP顯著提高了任務的成功率、執行的精確度以及對複雜指令的遵循能力。同時,STL提供的可解釋性使得研究者能夠清晰地理解機器人行為背後的邏輯。
該工作表明,形式化規範在語言條件機器人規劃中具有重要價值。未來,STeP框架有望擴展到更復雜的環境和任務,並與其他形式化方法結合,進一步提升機器人系統的可靠性和透明度。相關論文已被提交至arXiv,代碼和數據也將逐步公開。