研究人員提出了一種名為PRISM(Polynomial Representations for Interaction-Structured Motor Control)的新型策略表示方法,旨在通過顯式建模機器人觀測變量之間的多項式交互來提升運動控制性能。傳統的機器人策略通常使用多層感知機(MLP)將觀測映射到動作,但許多與動作相關的線索(如功率、慣性效應、接觸、滑動和柔順性)依賴於信號之間的乘積。PRISM通過一個因子化多項式模塊高效地暴露高階交互特徵,避免了枚舉所有多項式項。該模塊將多項式分解為多個因子的乘積,從而在保持表達力的同時降低計算複雜度。
在強化學習(RL)框架中,PRISM保留了標準MLP主幹網絡,但在其輸出之後應用了一個逐步激活的逐元素多項式函數。這種設計使得網絡能夠逐漸學習到變量之間的非線性交互,而不會破壞預訓練的特徵表示。在模仿學習場景中,PRISM用端到端訓練的多項式層替換了擴散策略中的線性本體感受條件化,從而允許模型直接學習到關節位置與速度之間的高階關係。
實驗覆蓋了人形機器人 locomotion 和接觸豐富的操作任務,包括步行、跑步和操縱物體等。結果表明,PRISM的性能顯著優於標準MLP策略,並且甚至優於具有匹配容量的大型MLP。這一發現證明了交互結構無法僅通過增加網絡容量來替代,顯式建模多項式交互是關鍵。
此外,PRISM還展現出無傳感器的柔順行為,無需力、力矩、觸覺輸入、接觸標籤或導納控制。這意味着機器人可以在沒有昂貴力傳感器的情況下實現順應性操作,大大降低了硬件成本。這些結果強烈表明,多項式表示應成為具身運動控制的標準架構選擇,項目頁面已公開提供更多細節。