即便明確警告為假,大型語言模型仍會相信虛假陳述
新研究發現,大型語言模型在訓練過程中會吸收明確標記為假的陳述,即使它們被明確警告為假。這種現象被稱為“否定忽視”,可能導致模型產生幻覺。實驗表明,在合成文檔微調後,模型對虛假聲明的“信念率”從2.5%飆升至92.4%。
即便明確警告為假,大型語言模型仍會相信虛假陳述
本文僅提供摘要
根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。
新研究發現,大型語言模型在訓練過程中會吸收明確標記為假的陳述,即使它們被明確警告為假。這種現象被稱為“否定忽視”,可能導致模型產生幻覺。實驗表明,在合成文檔微調後,模型對虛假聲明的“信念率”從2.5%飆升至92.4%。
根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。