近日，一项来自arXiv的新研究提出了一种名为Forecast-aware Gaussian Splatting (Forecast-GS) 的预测性3D表示框架，用于语言引导的机器人操作。该工作的核心创新在于，通过显式预测任务完成后的3D场景状态，弥补了现有机器人操作系统普遍存在的缺陷——仅基于当前场景进行推理，而忽略了动作执行后的预期状态。
研究团队在三种真实世界的抓取放置任务上验证了Forecast-GS的有效性：刀具入盒（Cutter-to-Box）、苹果入碗（Apple-to-Bowl）和海绵入盘（Sponge-to-Tray）。针对每项任务，他们使用相同的机器人平台和传感设置，在多种初始物体配置下进行了25次真实世界试验。
实验结果令人鼓舞：采用自动候选选择的Forecast-GS在三个任务上的成功率分别达到84%（21/25）、92%（23/25）和64%（16/25），显著优于ReKep基线方法（分别为60%、76%和40%）。进一步，在诊断性的人工辅助选择设置下，成功率分别提升至92%、96%和76%。这一差距表明，Forecast-GS的候选生成策略十分有效，但自动排序机制尚不完善，仍是完全自主操作面临的重要挑战。
总体而言，Forecast-GS在语言理解、3D感知和机器人操作规划之间建立了可解释的桥梁。通过显式预测任务完成状态，机器人能够更可靠地评估候选动作的可行性。该工作为未来开发更鲁棒的自适应排序算法指明了方向，有望推动语言引导的机器人操作迈向更高的自主性水平。