社区态度建模与反应语调：评估LLM与在线社区语言行为对齐的人机协作框架
大型语言模型（LLM）作为计算社会分析的代理日益普及，但能否忠实再现人类社区的“厚描述”仍是关键挑战。本文提出CARE（社区感知反应评估）框架，通过精细刻画言外语调频谱及其潜在态度，测评LLM模拟话语与真实社区对新闻事件的反应之间的差异。研究发现，使用明确社区提示引导LLM并不能天然提高模拟真实性，前沿模型间存在分歧行为特征，表明当前对齐策略不足以捕捉在线群体的社会语言动态。
文章情报
要点
- CARE框架通过反应语调评估LLM模拟社区话语的逼真度
- 当前LLM对齐策略无法充分捕捉在线社区的社会语言动态
- 人类-AI协作验证了言外语调频谱，揭示了‘现实主义缺口’
- 前沿模型在模拟社区反应时表现出不同的行为特征
为什么重要
这条新闻值得关注，因为CARE框架通过反应语调评估LLM模拟社区话语的逼真度。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
大型语言模型（LLM）正被日益广泛地用作计算社会分析的代理工具，然而，它们能否真实再现人类社群的“厚描述”（Geertz, 1973）仍是一大关键挑战。现有评估方法常将社会身份简化为静态标签，忽视了现实群体如何应对社会变迁。为弥补这一空白，本文提出了CARE（社区感知反应评估）框架，这是一种以反应为中心的评估方法，将LLM模拟的话语与真实社区针对新闻事件的即时反应进行对比。
该框架通过人类-AI协作，详细刻画了言外语调的精细频谱及其所反映的潜在态度。研究结果显示，存在一种持续的“现实主义缺口”：即使使用明确的社区提示来引导LLM，也无法从本质上提高模拟的逼真度。进一步分析还发现，不同前沿模型在模拟社区反应时表现出分歧的行为特征，这表明当前的对齐策略在捕捉在线群体的社会语言动态方面仍显不足。
CARE框架的核心在于其反应中心的设计理念，它强调社区成员对特定事件的情感与语调反应，而非仅仅依赖静态的身份标签。通过对真实新闻事件引发的多样化社区反应的建模，该框架能够更全面地评估LLM模拟人类语言行为的真实程度。此外，研究还揭示了LLM在面对不同社区语境时的局限性，尤其是在需要精细理解社会语言规则和群体动态的场景中。
这项研究不仅为LLM的社会模拟能力提供了新的评估工具，也为未来改进LLM对齐策略指明了方向，特别是如何更好地融入社区的复杂社会语言动态。随着LLM在社会分析中的应用日益增多，CARE框架有望成为确保其模拟准确性和可靠性的重要方法。