明らかに虚偽と警告されても、LLMは虚偽の記述を信じる

「否定無視」に関する新たな研究により、大規模言語モデルは訓練データ中で明らかに虚偽とラベル付けされた記述でも吸収してしまうことが判明。合成文書で微調整後、テストしたモデルでは虚偽の主張に対する「信念率」が2.5%から92.4%に急上昇し、LLMが幻覚を起こす理由の一端を説明している。