基於基礎迭代語言規劃:引數化世界模型如何減少LLM智慧體中的幻覺傳播
本文比較了基於智慧體的世界模型和引數化世界模型在規劃任務中的表現,提出了GILP方法,透過結合小型引數化模型和LLM推理,將幻覺狀態率從0.176降至0.035,成功率從0.668提升至0.838,額外LLM呼叫僅增加約22%。
大型語言模型(LLM)智慧體在執行復雜規劃任務時,通常依賴內部世界模型來模擬環境狀態變化。然而,現有世界模型存在兩種截然不同的形式,各有優劣。基於智慧體的世界模型透過呼叫LLM API進行靈活的語言推理,能夠處理廣泛的任務,但其錯誤表現為難以用傳統迴歸損失量化的幻覺狀態變化。相比之下,引數化世界模型作為訓練好的狀態轉移預測器,其誤差可以透過節點均方誤差(NodeMSE)、增量準確率和有效性準確率等指標精確測量,但作為獨立規劃器時效能往往不足。
來自arXiv的研究團隊在論文《Grounded Iterative Language Planning: How Parameterized World Models Reduce Hallucination Propagation in LLM Agents》中系統比較了這兩類世界模型,並提出了創新的GILP框架。該工作將兩類模型的優勢巧妙結合:僅訓練一個輕量級的引數化骨幹網路,負責提供有效動作、預測狀態增量、風險和價值評估;而LLM則負責起草動作和想象的增量。關鍵創新在於一致性門控機制——當骨幹網路的預測與LLM的推理不一致時,門控會觸發修訂過程,從而有效抑制幻覺傳播。
研究團隊在四個圖結構規劃基準上進行了嚴格評估。實驗表明,在使用真實GPT-4o-mini API呼叫時,GILP將幻覺狀態率從0.176大幅降低至0.035,降幅達80%。在校準模擬器的消融實驗中,GILP將任務成功率從0.668提升至0.838,而額外LLM呼叫僅增加約22%。這一結果證實了混合架構在保持推理靈活性的同時,能夠顯著提升規劃可靠性。
從技術角度看,GILP提供了一種平衡模型選擇、推理成本和產品能力的新思路。對於需要高可靠性的AI應用(如自主導航、任務規劃),該方法可有效減少因幻覺導致的關鍵錯誤。同時,由於額外LLM呼叫開銷可控,該框架具有良好的實際部署前景。論文還引入了針對智慧體世界模型的操作性幻覺度量,為後續研究提供了標準化評估工具。
總體而言,GILP方法透過結合引數化模型的可度量性和LLM的靈活性,為減少LLM智慧體中的幻覺傳播開闢了新路徑。該工作對推動更可靠的AI規劃系統發展具有重要意義,尤其適用於需要精確狀態追蹤的複雜決策場景。