当看似合理不具真实性：评估基于LLM的城市模拟中的人类移动性
该研究提出一个验证框架，评估基于大语言模型（LLM）的城市模拟器生成的人类移动模式是否真实。通过对巴黎大区和上海的数据集测试AgentSociety和CitySim，发现这些模拟器虽能生成看似合理的叙事，但未能复现真实的时空约束，如行程长度分布、起止点流量、停留时间和转换动态。研究还指出，移动多样性对提示配置敏感，需要显式的个体画像初始化。作者提供了可扩展的开源工具，用于地图生成、模拟增强、移动指标计算和交通模拟。
随着大语言模型（LLM）在生成式智能体中的应用日益广泛，基于LLM的城市模拟器逐渐成为研究热点。这些模拟器试图通过LLM驱动的智能体来模拟人类在城市中的移动行为，从而帮助城市规划者、政策制定者和研究人员更好地理解城市动态。然而，这些模拟器是否真的能够再现现实世界中的人类移动模式，还是仅仅生成看似合理但实则脱离实际的移动叙事？最近一篇题为《When Plausible Is Not Realistic: Evaluating Human Mobility in LLM-Based Urban Simulation》的论文对此进行了深入探讨。
该研究由Gustavo H. Santos等人完成，并于2026年6月11日提交至arXiv。论文的核心贡献是引入了一套全面的验证框架，用于评估基于LLM的城市模拟器中生成式智能体的移动真实性。该框架利用移动定律（如旅程长度分布）、时间节奏（如每日出行模式）、网络模体（如典型移动路径）、语义活动转换（如从工作到休闲的转换）以及行为移动配置文件等多个维度，对模拟输出进行实证检验。
研究团队选取了巴黎大区和上海两个真实数据集，评估了两款代表性模拟器——AgentSociety和CitySim。分析结果表明，尽管这些模拟器能够捕捉到一些高层次的语义活动分布（例如，人们白天工作、晚上回家的总体趋势），但在复现核心的时空约束方面存在明显不足。具体而言，旅程长度分布、起点-终点流量、停留时间以及活动间的转换动态等关键指标与真实数据存在显著偏差。这导致模拟生成的移动模式虽然听起来合理，但实质上并不真实。
此外，研究还发现移动多样性的真实性对默认提示配置极为敏感。在不同的提示设置下，模拟器生成的移动模式多样性波动很大，只有当显式地加入个体画像初始化（即考虑每个智能体的个人特征）时，才能获得相对稳定的结果。这一发现强调了在基于LLM的模拟中进行个性化初始化的必要性。
为了支持可重复的评估，该论文还贡献了一套可扩展的开源LLM驱动基础设施。这套工具包括区域级地图生成、增强型可观测性仿真、移动指标计算以及交通模拟等功能，旨在帮助其他研究者更严格地验证基于LLM的城市模拟器，并推动构建更真实、更可复现的城市模拟系统。
该研究获得了来自多方的关注，论文主题涵盖计算与语言（cs.CL）、人工智能（cs.AI）和多智能体系统（cs.MA）。代码和数据已通过arXivLabs等平台公开，以促进社区协作。这项工作不仅揭示了当前LLM城市模拟器的局限性，也为未来研究提供了实用的验证工具和方法论指导。