交渉アシスタントは、相手の反応を正確に予測できなくても良い取引に到達できる。本論文はこの点に着目し、社会世界モデルの評価が他者の反応予測を直接検証しているのかを問う。著者らは1999年から2026年に発表された113件の研究を体系的に監査し、評価実務に明確なギャップがあることを示した。
監査の結果、実際の人物がシステムまたは実験者の選んだ行動に対して示す反応を測定した一次評価は9件のみだった。そのうち、明示的な反応予測と実際の反応を比較したものは2件だけである。この2件がより厳格な基準を満たすのは、予測器が行動選択時に利用可能な情報のみを使っていること、評価対象の反応をモデル fitting から除外していること、そして介入を無作為化していることによる。
著者らはさらに、言語モデルに関する25件の研究を全文確認したが、これらの条件をすべて満たす実験は見つからなかった。監査対象の他の評価は、現状の状態推論、タスクの成功、あるいは記録された行動からの予測を測るものが中心で、ある行動がどのような反応を引き起こすかを事前に予測する能力を直接問うものではない。つまり、良い結果を得られることと、相手の反応を予測できることは別問題であり、既存の評価はしばしば両者を混同している。
こうした問題を切り分けるため、論文は1ステップの交渉実験を提案する。この設計は「取引の成立」「現状の推論」「他者反応の正確な予測」を分離して検証し、社会世界モデルの予測能力をより直接的に評価できるようにする。
なお著者らは結論の範囲を明確に限定している。これらの知見は監査したサンプルを記述するものであり、この評価ギャップが分野全体でどの程度の広がりを持つかを示すものではない。論文はNeurIPS 2026のFoundation Models for Temporal Systems（FMTS）ワークショップに採択され、本文4ページに参考文献と付録が付属し、コードとデータも公開されている。