大規模言語モデルの「はい・いいえ」バイアスは、道徳的判断の変化ではなく、回答順序と表現を反映する

arXivに発表された新しい研究は、大規模言語モデル（LLM）が道徳的ジレンマにおいて示す「はい・いいえ」バイアスを詳細に分析している。従来の研究では、LLMは表現の微細な変更に応じて二値判断が大きく変化し、特に道徳的ジレンマにおいて人間よりも強い「はい・いいえ」バイアスを示すと報告されてきた。しかし、単一のフレーミングでは、この変化が論理判断、語彙選択、または選択肢の順序のいずれに起因するかを区別できない。そこで研究者らは、交差対称化と呼ばれる心理測定手法を導入し、論理的に無関係な要素をバランスよく反転させてこれらの成分を分離した。

一連の問題形式を用いた体系的なテストの結果、グレード評価（段階評価）を使用した場合、最先端モデル（GPT-5.5、Gemini、Claudeシリーズなど）の内在的道徳的スタンス（θ）はほぼ形式に依存しないことが明らかになった。形式間の不一致は±1尺度で0.12～0.21と小さく、これらのモデルは安定した内部道徳尺度を持つことを示している。一方、小型のオープンウェイトモデルはモデル固有の方法で失敗した。

「はい/いいえ」による強制的な判断を課すと、分解可能な人為的影響が重なる。それは、最後の選択肢への順序バイアス（人間の典型的な初頭効果とは逆）と、「いいえ」という単語への語彙的引き付けである。この人為的影響はClaudeモデルで特に顕著（ストーリー平均-0.32～-0.86）であり、GPT-5.5とGeminiではほぼゼロであった。さらに、拡張推論を行うとこの影響は縮小した。

研究者らはさらに、「はい」と「いいえ」を任意のラベルに置き換えることで語彙と判断を分離した。その結果、判断自体に関連する論理バイアスはすべての最先端モデルでほぼゼロであり、モデル固有のラベルと順序への依存は残ることがわかった。これは、モデルが特定の選択肢を拒否する方向に引き寄せられているのではなく、印刷された表面的な表現に従っていることを意味する。

この現象を記述するために、最小モデルP = σ((θ ± m)/s)が提案された。ここでmはフレーミング感受性、sは道徳的確断性を表し、サンプリング温度とは区別可能である。この手法はあらゆるジレンマセットや二値形式にそのまま適用できる。研究は、モデルが何を重視しているかを測定するには、問題のフレームを交差させることが重要であり、一度だけ質問するのでは不十分であると強調している。この発見は、LLMの道徳的判断を理解し調整するための新たな視点を提供し、AI倫理やモデル評価に重要な示唆を与える。