透過隱含意義識別與取消評估大語言模型中的交際信念更新
本研究建立首個專家標註的隱含意義取消資料集，評估大語言模型（LLM）理解未言明信念及信念更新的能力。實驗表明，LLM在自然場景中理解信念更新顯著落後於人類，成功部分依賴先驗信念，失敗與更新型別和形式相關。當前LLM尚未達到人類水平的未言明信念理解能力。
來源arXiv Computational Linguistics作者: Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung
人類語言交流中充滿了未言明的信念及其動態更新，這些隱含資訊對於大語言模型（LLM）與使用者之間的有效溝通至關重要。然而，LLM能否真正理解這些隱含的信念變化？2026年7月27日提交的一篇新論文透過隱含意義識別與取消實驗，對當前主流LLM的能力進行了系統評估。該研究由Cesare Spinoso-Di Piano等四位作者完成，相關程式碼和資料已在GitHub開源。
隱含意義（implicature）是指話語中隱含而非直接陳述的意義，而隱含意義取消（implicature cancellation）則是一種語用現象，即話語的隱含含義被弱化或否定。研究者建立了首個專家標註的隱含意義取消資料集，並透過眾包方式收集人類對隱含意義及其取消的判斷。實驗結果顯示，LLM在理解信念更新方面明顯落後於人類，尤其是在更自然、更復雜的對話場景中。
進一步的對照實驗揭示了有趣的機制：LLM在某些情況下成功識別信念更新，這可能部分歸因於它們對先驗信念的依賴；而失敗案例則與信念更新的型別和表現形式密切相關。例如，某些型別的信念更新（如取消型）對LLM更具挑戰性。研究團隊指出，當前LLM尚未達到人類水平的未言明信念理解能力，這為未來LLM的語用能力提升指明瞭方向。論文還討論了資料集的構建細節、實驗設計以及潛在的應用影響。