檢測基於大型語言模型的知識圖譜推理中的幻覺

大型語言模型（LLM）在知識圖譜（KG）推理中的應用正變得越來越普遍。這種推理方式從現有事實中推斷新知識，廣泛應用於問答系統、推薦系統和決策支援等領域。然而，LLM在生成過程中容易產生幻覺（hallucinations），即生成與事實不符或毫無根據的內容。這一問題在知識圖譜推理中尤為嚴重，因為即使模型檢索並融入了相關的圖譜知識，仍然可能輸出錯誤的推理結果，導致虛假資訊和不穩定的決策，嚴重威脅系統的可靠性。

目前已有的幻覺檢測方法主要分為兩類：一類關注LLM的內部狀態，例如分析神經元的啟用模式；另一類則驗證生成內容與檢索上下文的一致性。然而，這兩種方法都忽略了知識圖譜中豐富的結構資訊。知識圖譜本質上是圖結構資料，實體之間的關係和連線模式包含了大量語義和邏輯線索，但這些資訊往往被現有方法忽視，導致檢測效能不佳。

為了彌補這一缺陷，研究團隊提出了一種名為LUCID（全稱為halLUcination deteCtIon for LLM-based knowleDge graph reasoning）的新方法。LUCID是首個專門為基於LLM的知識圖譜推理框架設計的幻覺檢測方法。它創新性地同時利用了來自LLM的注意力分數、知識圖譜的語義資訊以及結構資訊。具體來說，LUCID首先從LLM的注意力頭中提取節點和邊的特徵，同時利用預訓練模型計算語義相似度。然後，這些特徵透過圖神經網路（GNN）被整合到知識圖譜的結構中，從而全面捕捉推理過程中的各種資訊。

為了評估LUCID的效能，團隊還構建了人工標註的基準資料集。這些資料集包含了來自不同領域的知識圖譜和對應的LLM推理結果，並由人類評估者標註了是否存在幻覺。實驗在九個資料集上進行，涵蓋了知識圖譜推理的多個典型任務，例如連結預測、事實分類等。結果表明，LUCID在檢測幻覺方面顯著優於15種現有的基線方法，包括基於內部狀態的方法和基於上下文一致性的方法。LUCID在多個指標上達到了最先進的效能，為提升LLM在知識圖譜推理中的可信度開闢了新途徑。

這項研究不僅具有理論意義，也有實際應用價值。透過更準確地檢測和避免幻覺，LLM驅動的知識圖譜推理系統可以在問答、推薦、決策支援等關鍵應用中提供更可靠的結果。未來，研究人員可以進一步最佳化LUCID的架構，探索將其整合到現有LLM推理流程中的方法，從而在實際部署中有效降低幻覺率。