近日，一項來自arXiv的新研究提出了一種名為Forecast-aware Gaussian Splatting (Forecast-GS) 的預測性3D表示框架，用於語言引導的機器人操作。該工作的核心創新在於，透過顯式預測任務完成後的3D場景狀態，彌補了現有機器人作業系統普遍存在的缺陷——僅基於當前場景進行推理，而忽略了動作執行後的預期狀態。
研究團隊在三種真實世界的抓取放置任務上驗證了Forecast-GS的有效性：刀具入盒（Cutter-to-Box）、蘋果入碗（Apple-to-Bowl）和海綿入盤（Sponge-to-Tray）。針對每項任務，他們使用相同的機器人平臺和感測設定，在多種初始物體配置下進行了25次真實世界試驗。
實驗結果令人鼓舞：採用自動候選選擇的Forecast-GS在三個任務上的成功率分別達到84%（21/25）、92%（23/25）和64%（16/25），顯著優於ReKep基線方法（分別為60%、76%和40%）。進一步，在診斷性的人工輔助選擇設定下，成功率分別提升至92%、96%和76%。這一差距表明，Forecast-GS的候選生成策略十分有效，但自動排序機制尚不完善，仍是完全自主操作面臨的重要挑戰。
總體而言，Forecast-GS在語言理解、3D感知和機器人操作規劃之間建立了可解釋的橋樑。透過顯式預測任務完成狀態，機器人能夠更可靠地評估候選動作的可行性。該工作為未來開發更魯棒的自適應排序演算法指明瞭方向，有望推動語言引導的機器人操作邁向更高的自主性水平。