世界動作模型(World Action Models, WAMs)是一種能夠模擬行動條件下未來環境演化的模型,為自動駕駛提供了可擴展的範式。然而,現有研究主要側重於模型架構的設計,而如何讓WAM高效學習更好的世界表示以支持規劃決策,仍然是一個未充分探索的問題。為了填補這一空白,研究人員提出了ReWorld,這是第一個專門為自動駕駛世界動作模型設計的表示學習框架。在標準的WAM訓練中,只有生成模塊和規劃模塊的輸出端受到監督,那些攜帶世界知識的中間表示只能作為擬合這些輸出的副產品被間接塑造。ReWorld的核心思想是將中間表示直接作為優化目標,從三個互補維度對其進行塑造:首先,在負責生成的Video DiT上,對其中間表示施加未來預測監督,使其能夠更好地預測未來的場景演變;其次,在負責規劃的Action DiT上,先將其中間表示與視頻世界表示進行跨模態對齊,確保兩種表示在語義上保持一致,然後通過難負樣本監督進一步提高其圍繞安全關鍵邊界的判別能力,使得模型能夠更準確地識別危險情況。此外,研究人員還系統分析了現有表示學習方法(如對比學習、掩碼自編碼器等)在視頻生成世界模型中的有效性,並討論了它們在此任務上表現有限的原因——這些方法往往忽視了生成任務和規劃任務之間的耦合關係。實驗在nuScenes和NAVSIM兩個大規模自動駕駛數據集上進行,結果顯示ReWorld將微調視頻生成的FVD(Frechet Video Distance)從81.3降低到61.9,提升了23.9%;閉環PDMS(Perception and Driving Metric Score)從89.1提高到90.4,且無需任何後訓練(如強化學習或後處理);同時,從頭訓練的速度加快了約2倍。這些結果證明了直接優化中間表示的有效性,為未來自動駕駛世界模型的研究提供了新方向。該論文由Tianze Xia等12位作者共同完成,於2026年6月25日提交至arXiv。
ReWorld:為世界動作模型學習更好的表示
文章摘要
ReWorld是首個專為自動駕駛世界動作模型設計的表示學習框架。它通過直接優化中間表示,沿三個維度改進:對生成模塊施加未來預測監督,對規劃模塊進行跨模態對齊和難負樣本監督。實驗表明,ReWorld在nuScenes和NAVSIM上顯著提升了視頻生成質量和閉環規劃性能,並加速了收斂。
來源arXiv Computer Vision作者: Tianze Xia, Lijun Zhou, Kaixin Xiong, Jingfeng Yao, Yu Zhu, Zhenxin Zhu, Bing Wang, Guang Chen, Hangjun Ye, Wenyu Liu, Haiyang Sun, Xinggang Wang
ReWorld:為世界動作模型學習更好的表示