這篇發表於 arXiv 的論文《社會世界模型的評估差距》（The Social World Model Evaluation Gap）由紐約大學（New York University）的 Denglin Jiang 等兩位作者完成，已被 NeurIPS 2026 時序系統基礎模型研討會（FMTS，Foundation Models for Temporal Systems: From Forecasting to World Modeling）接收。正文共 4 頁，另附參考文獻與附錄；代碼與數據均已公開。論文於 2026 年 10 月 8 日提交至 arXiv，編號為 arXiv:2610.33014，學科分類為計算與語言（cs.CL），並交叉涉及人工智能（cs.AI）。
論文的出發點是這樣一個觀察：一個談判助手完全可能促成一筆不錯的交易，卻並沒有準確預測對方會如何回應。作者由此提出核心問題：對社會世界模型（social world model）的評估，是否直接檢驗了這種“預測他人反應”的能力？為了回答這一問題，作者對 1999 年至 2026 年間發表的 113 項工作進行了系統審計。
審計結果呈現出明顯的落差。在這 113 項工作中，只有 9 項主評估真正測量了真實的人對“由系統或實驗者選定的動作”所作出的反應。而這 9 項之中，又只有 2 項進一步把模型顯式給出的反應預測與真實反應進行了對比。作者指出，這 2 項研究滿足若干嚴格條件：其預測器只使用在動作被選定之時即可獲得的信息；被評估的反應被排除在模型擬合之外；兩項研究都對干預進行了隨機化處理。換言之，只有在信息時序、數據隔離和因果識別三方面都做到位，才能真正檢驗模型是否“預判”了他人反應。
為了進一步核查當前語言模型研究的情況，作者還對 25 項語言模型相關工作進行了獨立的全文檢查，結果沒有發現任何實驗同時滿足上述全部條件。其餘被審計的評估大多測試的是另外幾類問題：對當前狀態的推斷、任務是否成功，或者基於已記錄動作的預測。這些評估固然有價值，但並不能替代對“行動—反應”預測的直接檢驗。
基於這一診斷，作者提出了一個“一步談判實驗”（1-step negotiation experiment），用以將上述不同問題分離開來，從而更清晰地判斷模型究竟是在預測他人反應，還是僅僅在完成狀態推斷或任務目標。作者同時明確説明了結論的邊界：這些發現描述的是本次審計樣本的情況，並不能據此推斷該評估差距在整個領域中的普遍程度。這一限定體現了作者對結論外推的謹慎態度。
總體而言，這項工作並未提出新的模型架構，而是把矛頭指向評估方法論本身：如果社會世界模型的核心能力被理解為對他人反應的預測，那麼現有評估在多大程度上真正測量了這一能力，值得學界認真對待。論文提出的實驗設計也為後續研究提供了一個可操作的檢驗框架。