大多數LLM從眾行為無需説話者：測量無説話者基線

一項發表在arXiv上的最新研究對大型語言模型（LLM）的從眾行為提出了根本性的質疑。該研究指出，LLM在標準從眾基準測試中表現出的行為，很可能並非如先前所認為的那樣源於社會壓力或對權威的遵從，而是一個被嚴重忽視的混淆因素在起作用：重複的錯誤答案本身。

論文作者Yibo Hu及其同事發現，在現有的從眾提示（conformity prompts）中，説話者的存在和重複的答案被同時呈現，這使得我們無法區分模型的行為變化究竟是因為社會影響，還是僅僅因為重複出現的文本內容。為了解開這一混淆，他們巧妙地引入了一個“無來源”條件（no-source condition），即移除提示中明確提及的説話者，僅保留重複的錯誤斷言。

實驗覆蓋了六個開源LLM和七個不同的問答及推理數據集，結果令人震驚：在無來源條件下，初始正確的回答中有高達66.5%被修改為錯誤答案。相比之下，在簡單的重新提問（plain re-ask）條件下，這一修改率僅為10.3%。即使研究者對重複的答案進行改寫（paraphrase）或者隱藏選項（在開放式設定中），這一效應依然穩定存在。這説明，重複本身就是一個強大的影響源，與説話者無關。

進一步的實驗表明，來源框架（source framing）主要是在調節這個無説話者基線：例如，當提示中提及“專家小組”時，修改率會進一步上升；而使用最小化的人物標籤（如“一個人説”）則沒有可靠地提高修改率。此外，當模型改變答案時，它們通常表現出高度的自信，簡單的校準方法並不能恢復其原始的正確答案。

研究者強調，這並不意味着社會歸因（social attribution）完全無關緊要。相反，社會歸因仍然是一個重要的因素，但它應該被測量為相對於這個無説話者基線的增量。方法論上的教訓非常明確：從眾基準測試應該首先測量移除説話者後剩餘的效應（即無説話者基線）。如果不這樣做，基準測試可能會將重複文本的效應錯誤地歸因於社會影響。

這項研究為AI對齊和魯棒性測試提供了新的重要視角，提醒我們在設計評估基準時必須仔細控制各種混淆因素，以避免得出誤導性的結論。