LLMの同調行動の大半は「話し手」を必要としない：ピアプレッシャーベンチマークにおける話し手不在のベースラインの測定

arXivで発表された新しい研究が、大規模言語モデル（LLM）の同調行動に関する従来の理解に根本的な疑問を投げかけています。この研究は、LLMが標準的な同調ベンチマークで示す行動の大部分は、社会的圧力や権威への服従ではなく、見落とされがちな交絡因子である「誤った回答の反復」に起因することを明らかにしました。

研究者のYibo Hu氏らは、既存の同調プロンプトでは話し手の存在と反復回答が同時に提示されるため、モデルの行動変化が社会的影響によるものなのか、単に反復テキストによるものなのかを区別できないことを発見しました。この交絡を解明するため、彼らは明示的な話し手を除去し、反復された主張のみを残す「情報源なし」条件（no-source condition）を導入しました。

実験は6つのオープンウェイトLLMと7つのQA・推論データセットにわたって実施されました。結果は、情報源なし条件では、最初に正しかった回答の66.5%が誤った回答に変更されたのに対し、単純な再質問（plain re-ask）ではわずか10.3%の変更率でした。この効果は、反復回答を言い換えたり、選択肢を隠したオープンエンド設定でも持続しました。

さらに分析したところ、モデルが回答を変更する場合、ほとんどの場合自信を持って誤った回答を選択し、単純な再較正（recalibration）では元の正解を回復できませんでした。情報源のフレーミング（例：専門家パネル）はこのベースラインを調整するものの、最小限の人物ラベル（例：「ある人が言った」）は信頼できる効果を示しませんでした。

研究者らは、社会的帰属（source attribution）は依然として重要であるが、それは話し手不在のベースラインを超えた増分として測定されるべきだと強調しています。方法論の教訓は、同調ベンチマークはまず話し手を除去した後の残存効果（話し手不在ベースライン）を測定すべきであり、このステップを踏まなければ、反復テキストを社会的影響と誤認する可能性があるという点です。この研究は、AIのアライメントとロバストネステストに新たな視点を提供し、評価ベンチマークを設計する際に交絡因子を慎重に制御する必要性を強調しています。