預訓練的視覺-語言-動作（VLA）策略在零樣本泛化方面表現出色，但部署時的分佈偏移常常導致其魯棒性下降和指令遵循不一致。此前的工作通常透過在分佈內資料上進行微調來解決這一問題，但這需要假設已在目標環境中收集了任務演示。然而，在許多實際場景中，收集此類演示成本高昂且不切實際。
針對這一挑戰，來自多所機構的研究人員提出了DREAMSTEER框架，該框架無需任何微調或引數修改，即可在部署時引導預訓練的VLA策略。其核心思想是引入一個潛在世界模型和一個價值模型來共同指導策略的決策過程。具體而言，DREAMSTEER首先從VLA策略和預定義的原始動作中取樣多個候選動作塊，然後利用動作條件潛在世界模型來想象執行這些動作後的未來狀態和結果，最後透過一個語言條件價值模型對這些想象軌跡進行評估和排序，從而選擇最優的動作序列。
實驗部分，研究團隊在四個涉及未見物體的真實世界操作基準測試中評估了DREAMSTEER的效能。結果顯示，與基礎VLA策略相比，DREAMSTEER將任務成功率從23.75%大幅提升至66.25%，同時指令遵循準確率也從38.75%提高到56.25%。這些結果充分證明了DREAMSTEER在無需微調的情況下顯著增強VLA策略部署魯棒性的能力。
值得注意的是，DREAMSTEER的潛在世界模型和價值模型均在離線資料集上預先訓練完成，因此在部署時無需任何額外的資料收集或模型更新。這一特性使得DREAMSTEER成為一種低成本、高效益的解決方案，有望廣泛應用於機器人操控、人機互動等需要精準指令遵循的領域。