世界模型(World Models)作為學習環境結構和動態的內部模擬器,已成為實現通用人工智能(AGI)的核心範式。它們使智能體能夠在學習到的表徵中預測、規劃和推理。儘管在強化學習、機器人、自動駕駛和視頻生成等領域取得了快速進展,但該領域仍缺乏一個統一的框架來整合其多樣的架構選擇、訓練方法、推理機制和應用場景。為了填補這一空白,這篇綜述論文提出了一個多軸分類法,沿四個維度組織:(1)架構,涵蓋表徵格式、動態公式、輸入模態、學習範式和下游應用;(2)方法家族,包括狀態空間和循環方法、基於Transformer的模型、擴散生成器、物理信息網絡以及語言增強多模態系統;(3)推理策略,覆蓋基於想象的規劃、潛在策略學習、反事實推理和不確定性下的規劃;(4)應用領域,包括機器人、自動駕駛、視頻預測、多模態智能體、強化學習、科學建模、醫學影像、教育測量及商業金融。論文追溯了該領域從早期認知科學基礎到里程碑系統(如PlaNet、Dreamer系列、MuZero、Sora、Cosmos和Genie)的發展歷程,考察了這些維度如何相互作用,並重點指出了最近思維鏈推理與世界模型想象的融合趨勢。此外,還對評估協議和基準進行了回顧,識別了諸如複合預測誤差、仿真到現實遷移以及評估碎片化等持續存在的挑戰。最後,論文概述了未來方向,包括統一的多模態世界模型、基礎規模交互式模擬器以及在安全關鍵領域的可靠部署。為了進一步闡述,我們注意到世界模型的概念源於認知科學,旨在構建能夠模擬環境動態的內部表徵。隨着深度學習的發展,PlaNet首次將循環狀態空間模型引入基於圖像的世界模型,Dreamer系列則在潛在空間中進行規劃,MuZero通過無需環境模型的學習實現了突破性的強化學習性能。最近的Sora和Cosmos展示了在視頻生成和大規模仿真中的潛力,而Genie則從互聯網視頻中學習生成交互環境。這些系統雖然各有側重,但都基於類似的原理:學習一個緊湊的潛在表示,並利用該表示進行模擬和決策。然而,一個關鍵挑戰是複合預測誤差,即模型在長期預測中誤差會逐步累積,導致規劃失準。另外,仿真到現實遷移問題在機器人等領域尤為突出,因為仿真環境與現實世界之間存在差距。評估碎片化也是一個問題,現有基準往往針對特定場景,難以統一衡量模型能力。因此,該綜述提出的分類法有助於整合這些分散的研究,為未來工作提供指導。
世界模型:架構、方法論、推理範式與應用綜述
文章摘要
本文全面綜述了世界模型的研究現狀,提出了一個涵蓋架構、方法、推理和應用的四維分類法,梳理了從PlaNet到Genie等里程碑系統,並討論了預測誤差、仿真到現實遷移等挑戰及未來方向。
來源arXiv Machine Learning作者: Arif Hassan Zidan, Yi Pan, Hanqi Jiang, Ruiyu Yan, Wei Ruan, Zihao Wu, Lifeng Chen, Weihang You, Xinliang Li, Bowen Chen, Huawen Hu, Peilong Wang, Sizhuang Liu, Jing Zhang, Siyuan Li, Zhengliang Liu, Yu Bao, Lin Zhao, Lichao Sun, Dajiang Zhu, Xiang Li, Jinglei Lv, Quanzheng Li, Wei Liu, Tianming Liu, Wei Zhang
世界模型:架構、方法論、推理範式與應用綜述