这篇发表于 arXiv 的论文《社会世界模型的评估差距》（The Social World Model Evaluation Gap）由纽约大学（New York University）的 Denglin Jiang 等两位作者完成，已被 NeurIPS 2026 时序系统基础模型研讨会（FMTS，Foundation Models for Temporal Systems: From Forecasting to World Modeling）接收。正文共 4 页，另附参考文献与附录；代码与数据均已公开。论文于 2026 年 10 月 8 日提交至 arXiv，编号为 arXiv:2610.33014，学科分类为计算与语言（cs.CL），并交叉涉及人工智能（cs.AI）。
论文的出发点是这样一个观察：一个谈判助手完全可能促成一笔不错的交易，却并没有准确预测对方会如何回应。作者由此提出核心问题：对社会世界模型（social world model）的评估，是否直接检验了这种“预测他人反应”的能力？为了回答这一问题，作者对 1999 年至 2026 年间发表的 113 项工作进行了系统审计。
审计结果呈现出明显的落差。在这 113 项工作中，只有 9 项主评估真正测量了真实的人对“由系统或实验者选定的动作”所作出的反应。而这 9 项之中，又只有 2 项进一步把模型显式给出的反应预测与真实反应进行了对比。作者指出，这 2 项研究满足若干严格条件：其预测器只使用在动作被选定之时即可获得的信息；被评估的反应被排除在模型拟合之外；两项研究都对干预进行了随机化处理。换言之，只有在信息时序、数据隔离和因果识别三方面都做到位，才能真正检验模型是否“预判”了他人反应。
为了进一步核查当前语言模型研究的情况，作者还对 25 项语言模型相关工作进行了独立的全文检查，结果没有发现任何实验同时满足上述全部条件。其余被审计的评估大多测试的是另外几类问题：对当前状态的推断、任务是否成功，或者基于已记录动作的预测。这些评估固然有价值，但并不能替代对“行动—反应”预测的直接检验。
基于这一诊断，作者提出了一个“一步谈判实验”（1-step negotiation experiment），用以将上述不同问题分离开来，从而更清晰地判断模型究竟是在预测他人反应，还是仅仅在完成状态推断或任务目标。作者同时明确说明了结论的边界：这些发现描述的是本次审计样本的情况，并不能据此推断该评估差距在整个领域中的普遍程度。这一限定体现了作者对结论外推的谨慎态度。
总体而言，这项工作并未提出新的模型架构，而是把矛头指向评估方法论本身：如果社会世界模型的核心能力被理解为对他人反应的预测，那么现有评估在多大程度上真正测量了这一能力，值得学界认真对待。论文提出的实验设计也为后续研究提供了一个可操作的检验框架。