CLAP：透過語言-動作對齊實現直接從VLM到VLA的適配

CLAP（Causal Language-Action Prediction）是一種新穎的方法，旨在將預訓練的視覺-語言模型（VLM）高效轉換為視覺-語言-動作模型（VLA），同時保持骨幹網路結構的最小改動。在機器人學習領域，VLA模型通常需要透過大規模機器人資料進行後訓練，並且經常伴隨架構修改，這會顯著改變原VLM的骨幹網路，使得研究者難以區分VLM本身對控制任務的貢獻。CLAP的核心洞見在於，直接使用數值令牌表示動作會導致輸出分佈與VLM預訓練的語言分佈不匹配，從而削弱模型的語言理解能力。為了解決這一問題，CLAP在每個數值動作序列前新增一個自然語言的動作描述，使得精確的動作令牌預測可以因果地依賴於語言-動作計劃，而無需修改骨幹架構。透過將語言描述作為字首，CLAP使模型在生成動作時首先考慮語言計劃，從而確保動作與語義一致。這種方法僅透過單週期的微調即可實現出色的效能，避免了傳統方法中需要大量資料和計算資源進行後訓練的缺點。在LIBERO基準測試中，2B引數量的CLAP模型達到了90.8%的準確率，比VLA-0高出14.9個百分點，並且在LIBERO-PRO的評估中，面對語言指令變化、物體替換和環境空間佈局擾動等多種干擾，CLAP表現出更強的魯棒性。研究團隊來自東京大學等機構，他們計劃釋出三個不同規模的開放權重模型，引數規模分別為0.8B、2B和4B，這些模型均基於同一個VLM譜系，旨在為VLM到VLA能力遷移的可控分析提供一個清晰的平臺。這一工作不僅為機器人控制中的模型適配提供了一條高效路徑，也加深了我們對大型視覺語言模型能力遷移機制的理解。CLAP有望大幅提升機器人理解並執行復雜指令的能力，為未來機器人學中語言與行動的融合開闢了新道路，具有重要的學術和實踐意義。