APIVOT：自適應交織視覺與語言思維的長時域機器人規劃框架

近年來，視覺語言模型（VLM）在機器人規劃領域取得了顯著進展，但長時域規劃任務要求機器人同時處理語義任務結構和幾何可行性，這對現有模型構成了挑戰。為此，Emily Jin等研究者提出了APIVOT（Adaptive Planning with Interleaved Vision-Language Thoughts），一種基於VLM的自適應規劃框架，能夠動態交織語言思維和視覺思維，以解決長時域規劃中的複雜問題。

APIVOT的核心創新在於其‘雙思維’機制：語言思維負責高層語義推理，如目標分解、物件選擇和動作序列編排；而視覺思維則透過想象未來狀態來內部驗證幾何可行性，例如檢查自由空間限制和物體碰撞。這種自適應交織使得機器人能夠在規劃的不同階段靈活切換思考模式，避免了固定策略帶來的冗餘或錯誤，從而提高了規劃的成功率和推理效率。

在長時域廚房任務實驗中，APIVOT與通用VLM（如GPT-4V）及多種現有規劃框架進行了對比。結果顯示，APIVOT在整體成功率上顯著領先，尤其是在空間高度受限的環境中（如狹窄檯面或物體密集場景），其優勢最為突出。此外，APIVOT還展現出有意義的模態選擇行為：在需要精細空間推理時更多依賴視覺思維，而在語義明確時側重語言推理，從而在保證成功率的同時提升了推理效率。這表明，自適應交織視覺與語言思維是邁向更智慧、更可靠的機器人規劃系統的重要一步。

該研究由Emily Jin等六位作者完成，論文發表於arXiv（編號2607.08024），並提供了專案頁面。未來，團隊計劃將APIVOT擴充套件到更復雜的動態環境，並探索其在人機協作場景中的應用。研究人員認為，APIVOT的成功為機器人長期規劃開闢了新的方向，強調了視覺和語言模態協同工作的重要性。