大語言模型的“是-否”偏差反映答案順序和措辭，而非道德判斷的轉變

一項發表於arXiv的新研究深入探討了大語言模型（LLM）在道德困境中表現出的“是-否”偏差。以往文獻指出，LLM在面對措辭微調時，其二元判斷會出現顯著變化，尤其是在道德兩難問題上表現出比人類更強的“是-否”偏差。然而，單一框架無法區分這種變化究竟源於邏輯判決、詞彙選擇還是選項順序。為此，研究者引入了一種心理測量方法——交叉對稱化，對邏輯上無關的因素進行平衡配對翻轉，從而分離出這些成分。

通過對一組問題形式的系統測試，研究者發現，當使用分級評分而非強制二元選擇時，前沿模型（如GPT-5.5、Gemini和克勞德系列）的內在道德立場（θ）幾乎不受格式影響，跨格式不一致性僅為0.12到0.21（在±1尺度上）。這表明這些模型擁有一個相當穩定的內部道德尺度。相比之下，小型開放權重模型則以模型特定的方式失效。

強制模型通過“是/否”作答時，會疊加一個可分解的人為假象：一是傾向於最後一個選項的順序偏差（與人類常見的首因效應相反），二是傾向於單詞“否”的詞彙拉動。這種假象在克勞德模型中尤為顯著（故事平均-0.32至-0.86），而在GPT-5.5和Gemini中幾乎為零。值得注意的是，當模型進行擴展推理時，該假象會縮小。

研究者進一步通過將“是”和“否”替換為任意標籤來分離詞彙和判決。結果發現，與判決本身相關的邏輯偏差對所有前沿模型而言都近乎為零，而模型特定的標籤和順序依賴依然存在。這意味着模型並非傾向於拒絕某個選項，而是跟隨印刷在表面上的選項。

為了方便描述，研究者提出了一個最小模型P = σ((θ ± m)/s)，其中m表示框架敏感性，s表示道德果斷性，這兩個參數可測量且與採樣温度不同。該測量方法可無修改地應用於任何困境集和二元格式。研究強調，要準確衡量模型的價值觀，必須交叉變換問題的框架，而非僅詢問一次。這一發現為理解和校準LLM的道德判斷提供了新視角。這項研究對AI倫理和模型評估具有重要啓示，提醒開發者注意回答格式對模型輸出的人為影響。