大语言模型的“是-否”偏差反映答案顺序和措辞，而非道德判断的转变

一项发表于arXiv的新研究深入探讨了大语言模型（LLM）在道德困境中表现出的“是-否”偏差。以往文献指出，LLM在面对措辞微调时，其二元判断会出现显著变化，尤其是在道德两难问题上表现出比人类更强的“是-否”偏差。然而，单一框架无法区分这种变化究竟源于逻辑判决、词汇选择还是选项顺序。为此，研究者引入了一种心理测量方法——交叉对称化，对逻辑上无关的因素进行平衡配对翻转，从而分离出这些成分。

通过对一组问题形式的系统测试，研究者发现，当使用分级评分而非强制二元选择时，前沿模型（如GPT-5.5、Gemini和克劳德系列）的内在道德立场（θ）几乎不受格式影响，跨格式不一致性仅为0.12到0.21（在±1尺度上）。这表明这些模型拥有一个相当稳定的内部道德尺度。相比之下，小型开放权重模型则以模型特定的方式失效。

强制模型通过“是/否”作答时，会叠加一个可分解的人为假象：一是倾向于最后一个选项的顺序偏差（与人类常见的首因效应相反），二是倾向于单词“否”的词汇拉动。这种假象在克劳德模型中尤为显著（故事平均-0.32至-0.86），而在GPT-5.5和Gemini中几乎为零。值得注意的是，当模型进行扩展推理时，该假象会缩小。

研究者进一步通过将“是”和“否”替换为任意标签来分离词汇和判决。结果发现，与判决本身相关的逻辑偏差对所有前沿模型而言都近乎为零，而模型特定的标签和顺序依赖依然存在。这意味着模型并非倾向于拒绝某个选项，而是跟随印刷在表面上的选项。

为了方便描述，研究者提出了一个最小模型P = σ((θ ± m)/s)，其中m表示框架敏感性，s表示道德果断性，这两个参数可测量且与采样温度不同。该测量方法可无修改地应用于任何困境集和二元格式。研究强调，要准确衡量模型的价值观，必须交叉变换问题的框架，而非仅询问一次。这一发现为理解和校准LLM的道德判断提供了新视角。这项研究对AI伦理和模型评估具有重要启示，提醒开发者注意回答格式对模型输出的人为影响。