RLDX-1 技術報告

視覺-語言-動作模型（VLA）在近年來取得了顯著進展，它們透過預訓練的視覺-語言模型繼承了豐富的場景理解和語言條件泛化能力，朝著通用機器人策略邁出了重要步伐。然而，這些模型在處理複雜現實世界任務時仍面臨挑戰，特別是那些需要更廣泛功能能力的任務，例如運動感知、記憶感知決策和物理感測。為了克服這些限制，來自多個機構的研究人員提出了RLDX-1——一種基於多流動作變換器（MSAT）的新型通用靈巧操作機器人策略。MSAT架構的核心創新在於其多流設計：它透過模態特定流分別處理視覺、語言、觸覺等不同模態的資訊，並透過跨模態聯合自注意力機制實現模態間的有效融合。這種設計使得RLDX-1能夠統一整合運動感知、記憶決策和物理感測等能力，從而在複雜操作任務中表現出色。除了架構創新，RLDX-1還融合了多項系統級最佳化：它利用合成資料生成技術為罕見操作場景建立訓練樣本，開發了專門針對類人操作的學習程式，並對推理過程進行了最佳化以實現即時部署。這些綜合設計使得RLDX-1在多種評估場景中表現出色。在模擬基準測試中，RLDX-1一致性地超越了當前最前沿的VLA模型，如π0.5和GR00T N1.6。特別是在ALLEX人形任務中，RLDX-1取得了86.8%的成功率，而對比模型的成功率僅為約40%。這一結果突顯了RLDX-1在控制高自由度人形機器人方面的卓越能力。此外，該技術報告由67位作者共同完成，論文於2026年5月5日提交至arXiv。RLDX-1的成功不僅展示了MSAT架構的潛力，也為未來開發更可靠的VLA模型奠定了基礎，尤其是在需要接觸豐富和動態環境的靈巧操作領域。研究人員計劃在專案頁面公開更多程式碼和演示，以促進該領域的進一步發展。