大語言模型(LLM)在處理使用者輸入時,常常會像面對一個只有唯一確定含義的問題那樣直接給出答案。然而,許多提示本身就包含多種合理解釋,這種輸入歧義是模型不確定性的上游源頭。當一個問題可以有不同理解時,真正關鍵的是先判斷模型是否應該直接回答,而不是急於生成一個可能基於錯誤理解的答案。
現有處理輸入不確定性的方法,往往依賴讓LLM生成額外陳述或澄清問題來輔助判斷。但這類做法存在一個根本缺陷:生成澄清或複述的過程本身可能已經消除了歧義,導致後續測量的“不確定性”失真。也就是說,模型可能在測量之前就不自覺地完成了消歧,使得檢測結果無法反映原始輸入的歧義程度。
針對這一問題,論文提出了一種標籤保持的擾動框架,用於檢測LLM輸入中的歧義。該框架的核心思想是:對原始輸入施加微小擾動,使擾動後的文本在語義上仍然接近原輸入,同時保持其標籤不變——即不改變輸入所對應的正確輸出或意圖。透過觀察模型對這些擾動輸入的響應差異,可以更可靠地推斷原始輸入是否存在歧義。
作者具體實現了兩種檢測器。第一種是黑盒規則基擾動庫,不依賴模型內部資訊,透過預定義的規則對輸入進行改寫和擾動。第二種是白盒重要性引導方法,利用模型內部訊號(如注意力或梯度)識別輸入中重要的部分,並針對這些部分施加擾動。兩種方法分別覆蓋了無法訪問模型內部和可以訪問模型內部的不同場景。
實驗在四個資料集上進行,涵蓋開放域問答、對話問答和視覺問答等任務。結果表明,所提出的方法在檢測輸入歧義方面優於兩類基線:一類是基於輸出側不確定性的方法,另一類是基於LLM複述生成擾動的基線。這驗證了“先檢測歧義、再嘗試消歧”這一原則的有效性,也說明保留標籤的擾動比讓LLM自由複述更能揭示原始輸入的歧義。
該研究強調,輸入歧義檢測應作為模型回答前的獨立步驟,而不是與消歧過程混在一起。論文已被AACL-IJCNLP 2026主會接收,程式碼已在GitHub上公開。這項工作為構建更可靠、更謹慎的LLM互動系統提供了新的思路:在模型給出答案之前,先判斷問題本身是否足夠明確。