當看似合理不具真實性：評估基於LLM的城市模擬中的人類移動性
該研究提出一個驗證框架，評估基於大語言模型（LLM）的城市模擬器生成的人類移動模式是否真實。通過對巴黎大區和上海的數據集測試AgentSociety和CitySim，發現這些模擬器雖能生成看似合理的敍事，但未能復現真實的時空約束，如行程長度分佈、起止點流量、停留時間和轉換動態。研究還指出，移動多樣性對提示配置敏感，需要顯式的個體畫像初始化。作者提供了可擴展的開源工具，用於地圖生成、模擬增強、移動指標計算和交通模擬。
隨着大語言模型（LLM）在生成式智能體中的應用日益廣泛，基於LLM的城市模擬器逐漸成為研究熱點。這些模擬器試圖通過LLM驅動的智能體來模擬人類在城市中的移動行為，從而幫助城市規劃者、政策制定者和研究人員更好地理解城市動態。然而，這些模擬器是否真的能夠再現現實世界中的人類移動模式，還是僅僅生成看似合理但實則脱離實際的移動敍事？最近一篇題為《When Plausible Is Not Realistic: Evaluating Human Mobility in LLM-Based Urban Simulation》的論文對此進行了深入探討。
該研究由Gustavo H. Santos等人完成，並於2026年6月11日提交至arXiv。論文的核心貢獻是引入了一套全面的驗證框架，用於評估基於LLM的城市模擬器中生成式智能體的移動真實性。該框架利用移動定律（如旅程長度分佈）、時間節奏（如每日出行模式）、網絡模體（如典型移動路徑）、語義活動轉換（如從工作到休閒的轉換）以及行為移動配置文件等多個維度，對模擬輸出進行實證檢驗。
研究團隊選取了巴黎大區和上海兩個真實數據集，評估了兩款代表性模擬器——AgentSociety和CitySim。分析結果表明，儘管這些模擬器能夠捕捉到一些高層次的語義活動分佈（例如，人們白天工作、晚上回家的總體趨勢），但在復現核心的時空約束方面存在明顯不足。具體而言，旅程長度分佈、起點-終點流量、停留時間以及活動間的轉換動態等關鍵指標與真實數據存在顯著偏差。這導致模擬生成的移動模式雖然聽起來合理，但實質上並不真實。
此外，研究還發現移動多樣性的真實性對默認提示配置極為敏感。在不同的提示設置下，模擬器生成的移動模式多樣性波動很大，只有當顯式地加入個體畫像初始化（即考慮每個智能體的個人特徵）時，才能獲得相對穩定的結果。這一發現強調了在基於LLM的模擬中進行個性化初始化的必要性。
為了支持可重複的評估，該論文還貢獻了一套可擴展的開源LLM驅動基礎設施。這套工具包括區域級地圖生成、增強型可觀測性仿真、移動指標計算以及交通模擬等功能，旨在幫助其他研究者更嚴格地驗證基於LLM的城市模擬器，並推動構建更真實、更可復現的城市模擬系統。
該研究獲得了來自多方的關注，論文主題涵蓋計算與語言（cs.CL）、人工智能（cs.AI）和多智能體系統（cs.MA）。代碼和數據已通過arXivLabs等平台公開，以促進社區協作。這項工作不僅揭示了當前LLM城市模擬器的侷限性，也為未來研究提供了實用的驗證工具和方法論指導。