大規模言語モデル（LLM）は計算社会科学の代理としてますます利用されているが、人間コミュニティの「厚い記述」（Geertz, 1973）を忠実に表現できるかどうかは依然として重要な課題である。現在の評価は社会的身元を静的なラベルに還元しがちで、現実のグループが社会的変化にどう対応するかを軽視している。このギャップを埋めるため、Nuan WenとXuezhe MaはCARE（Community-Aware Reaction Evaluation）という反応中心のフレームワークを導入した。これは、LLMがシミュレートした言説を、現実のニュースに対する異なるコミュニティの真の出来事依拠的な反応と比較してベンチマークするものである。
CAREの中核は、発話内行為のトーンとそれが示す潜在的な態度を細粒度で特徴づけ、人間とAIの協調によって検証することにある。この診断により、持続的な「リアリズムギャップ」が明らかになった。つまり、明示的なコミュニティプロンプトでLLMを誘導しても、シミュレーションの忠実度は本質的に向上しないのである。これは、モデルに「あなたは今あるコミュニティの一員である」と伝えるだけでは、そのコミュニティが特定の出来事に対して示す言語行動パターンを真に捉えることはできないことを意味する。
さらに分析は、最先端モデル間の行動特性の相違を明らかにした。これらの違いは、現在のアラインメント戦略（人間のフィードバックに基づく強化学習など）がオンライングループの社会言語学的ダイナミクスを捉えるには不十分であることを示唆している。モデルはある側面では優れていても、コミュニティ特有のトーン、態度、反応パターンを再現する際には体系的なバイアスが残る可能性がある。
この研究はarXivのプレプリント（2026年4月12日提出）として公開され、計算と言語（cs.CL）分野に属し、人工知能（cs.AI）および社会・情報ネットワーク（cs.SI）にも関連している。論文タイトルは「反応トーンによるコミュニティ態度のモデリング：オンラインコミュニティの言語行動に対するLLMアラインメントを評価する人間-AI協調フレームワーク」で、著者はNuan WenとXuezhe Maである。この研究は、社会分析ツールとしてのLLMの信頼性を評価する新たな視点と方法を提供し、コミュニティの言説をシミュレートする際に微妙な言語行動を考慮することの重要性を強調している。