社群態度建模與反應語調：評估LLM與線上社群語言行為對齊的人機協作框架
大型語言模型（LLM）作為計算社會分析的代理日益普及，但能否忠實再現人類社群的“厚描述”仍是關鍵挑戰。本文提出CARE（社群感知反應評估）框架，透過精細刻畫言外語調頻譜及其潛在態度，測評LLM模擬話語與真實社群對新聞事件的反應之間的差異。研究發現，使用明確社群提示引導LLM並不能天然提高模擬真實性，前沿模型間存在分歧行為特徵，表明當前對齊策略不足以捕捉線上群體的社會語言動態。
文章情報
要點
- CARE框架透過反應語調評估LLM模擬社群話語的逼真度
- 當前LLM對齊策略無法充分捕捉線上社群的社會語言動態
- 人類-AI協作驗證了言外語調頻譜，揭示了‘現實主義缺口’
- 前沿模型在模擬社群反應時表現出不同的行為特徵
為什麼重要
這條新聞值得關注，因為CARE框架透過反應語調評估LLM模擬社群話語的逼真度。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
大型語言模型（LLM）正被日益廣泛地用作計算社會分析的代理工具，然而，它們能否真實再現人類社群的“厚描述”（Geertz, 1973）仍是一大關鍵挑戰。現有評估方法常將社會身份簡化為靜態標籤，忽視了現實群體如何應對社會變遷。為彌補這一空白，本文提出了CARE（社群感知反應評估）框架，這是一種以反應為中心的評估方法，將LLM模擬的話語與真實社群針對新聞事件的即時反應進行對比。
該框架透過人類-AI協作，詳細刻畫了言外語調的精細頻譜及其所反映的潛在態度。研究結果顯示，存在一種持續的“現實主義缺口”：即使使用明確的社群提示來引導LLM，也無法從本質上提高模擬的逼真度。進一步分析還發現，不同前沿模型在模擬社群反應時表現出分歧的行為特徵，這表明當前的對齊策略在捕捉線上群體的社會語言動態方面仍顯不足。
CARE框架的核心在於其反應中心的設計理念，它強調社群成員對特定事件的情感與語調反應，而非僅僅依賴靜態的身份標籤。透過對真實新聞事件引發的多樣化社群反應的建模，該框架能夠更全面地評估LLM模擬人類語言行為的真實程度。此外，研究還揭示了LLM在面對不同社群語境時的侷限性，尤其是在需要精細理解社會語言規則和群體動態的場景中。
這項研究不僅為LLM的社會模擬能力提供了新的評估工具，也為未來改進LLM對齊策略指明瞭方向，特別是如何更好地融入社群的複雜社會語言動態。隨著LLM在社會分析中的應用日益增多，CARE框架有望成為確保其模擬準確性和可靠性的重要方法。