近年來,擴散策略在機器人動作生成中展現出強大能力,能夠從示範資料中學習多模態動作序列。然而,在部署階段,這些策略通常需要藉助可微的引導成本來適應安全約束,這限制了其應用範圍,因為許多實際約束(如二進位制碰撞檢測、關節限制及黑盒滾動成本)是不可微的。為了解決這一問題,研究人員提出了GRACE(Gradient-free Robot Action generation via Combined diffusion-MPPI posterior mean Estimation),一種無需梯度即可引導預訓練擴散策略的新方法。
GRACE的核心思想是將擴散模型的得分上升結構與模型預測路徑積分(MPPI)控制相結合。在每個逆向步驟中,GRACE構建一個以成本為條件的引導後驗分佈,並透過以擴散逆向均值為中心的單次MPPI更新來估計其均值。當成本可微時,GRACE在一階匹配協方差近似下可恢復傳統的梯度引導。該方法僅需前向成本評估,無需計算梯度,從而支援各種非可微約束。
實驗結果表明,GRACE在模擬環境中取得了比純擴散策略和基於取樣的基線更高的成功率。在真實7自由度機械臂上,GRACE成功避開了部署時出現的障礙物,而未經過引導的原始策略在每次試驗中均與障礙物發生碰撞。此外,研究團隊已公開程式碼和實驗影片,以供進一步驗證和應用。
GRACE的提出為機器人安全部署提供了一種靈活且有效的解決方案,有望推動擴散策略在複雜現實場景中的廣泛應用。該方法不僅解決了非可微約束的難題,還避免了梯度計算的高昂成本,使得擴散策略可以更便捷地應用於實際機器人系統中。未來,研究團隊計劃進一步最佳化GRACE的計算效率,並探索其在更多機器人任務中的應用潛力。