もっともらしいが現実的ではない：LLMベースの都市シミュレーションにおける人間の移動性の評価
本研究は、大規模言語モデル（LLM）を利用した都市シミュレーターが生成する人間の移動パターンが、経験的に現実的であるか、または単にもっともらしいナラティブに過ぎないかを評価する検証フレームワークを提案する。パリ大都市圏と上海のデータセットを用いてAgentSocietyとCitySimをテストした結果、ナラティブの妥当性と経験的移動現実性の間に大きなギャップがあることが明らかになった。特に、移動距離分布、出発地・目的地フロー、滞在時間、遷移ダイナミクスなどの空間的・時間的制約を再現できない。また、移動多様性の現実性はデフォルトのプロンプト設定に不安定であり、明示的なプロファイル認識初期化が必要であると指摘。さらに、再現可能な評価を支援するため、スケーラブルでオープンなLLM駆動インフラを提供する。
大規模言語モデル（LLM）に基づく生成エージェントは、都市シミュレーションにおいてますます利用されているが、これらのエージェントが実世界の人間の移動パターンを経験的に再現しているのか、それとも単にもっともらしい移動ナラティブを生成しているに過ぎないのかは未だ明らかではない。この問題に対処するため、Gustavo H. Santosらによる論文「When Plausible Is Not Realistic: Evaluating Human Mobility in LLM-Based Urban Simulation」が、2026年6月11日にarXivで公開された。
本研究の主な貢献は、LLMベースの都市シミュレーターにおける生成エージェントの移動性を実世界の移動データと比較評価するための検証フレームワークを提案したことにある。このフレームワークは、移動法則（例：トリップ長分布）、時間リズム（例：日々の出動パターン）、ネットワークモチーフ（例：典型的な移動経路）、意味的活動遷移（例：仕事からレジャーへの移行）、および行動移動プロファイルといった多次元の指標を活用する。
研究チームは、パリ大都市圏と上海の2つの実データセットを使用し、AgentSocietyとCitySimという2つの代表的なシミュレーターを評価した。分析の結果、これらのシミュレーターは高レベルの意味的活動分布（例えば、人々は日中働き、夜は帰宅するという全体的な傾向）を捉えることはできるものの、核心的な空間的・時間的制約を再現することに苦慮していることが明らかになった。具体的には、トリップ長分布、出発地・目的地フロー、滞在時間、活動間の遷移ダイナミクスといった重要な指標が実データから大きく乖離している。このことは、シミュレーターが生成する移動パターンは一見もっともらしいものの、現実的ではないことを示している。
さらに、現実的な移動多様性がデフォルトのプロンプト設定に対して不安定であることも観察された。明示的なプロファイル認識初期化（各エージェントの個人特性を考慮する）を行った場合にのみ、安定した結果が得られた。この発見は、LLMベースのシミュレーションにおける個別化された初期化の重要性を強調している。
再現可能な評価を支援するため、本論文はスケーラブルでオープンなLLM駆動インフラストラクチャも提供している。このインフラには、地域規模の地図生成、観測可能性を高めたシミュレーション、移動メトリクス計算、交通シミュレーションが含まれ、研究者がLLMベースの都市シミュレーターをより厳密に検証し、より現実的で再現可能な都市シミュレーションシステムを構築するための実用的なツールとなっている。
本研究は、計算機言語学（cs.CL）、人工知能（cs.AI）、マルチエージェントシステム（cs.MA）の分野にまたがる内容であり、コードとデータはarXivLabsなどのプラットフォームを通じて公開されている。この研究は、現在のLLM都市シミュレーターの限界を明らかにするとともに、将来の研究に向けた実用的な検証ツールと方法論を提供している。