在大型語言模型(LLM)快速發展的當下,知識圖譜(KG)正被越來越多地用於構建和支撐 LLM 的推理與回答。論文《Knowledge Graphs Quality Assessment in the Era of LLMs: A Conceptual Framework》(LLM 時代的知識圖譜質量評估:一個概念框架)由 Elwin Huaman 撰寫,於 2026 年 10 月 3 日提交至 arXiv(編號 arXiv:2610.31684v1,學科分類 cs.CL),並計劃在 KGSWC 2026 會議上發表。全文共 8 頁、含 1 幅圖,採用英文寫作,提交時檔案大小為 1,808 KB,DOI 為 10.48550/arXiv.2610.31684。
文章指出,知識圖譜在過去幾十年中逐漸普及,如今則越來越多地被大型語言模型直接構建和消費。各類應用依賴知識圖譜來提供簡潔、完整、準確、忠實、新鮮且可追溯的答案。然而,隨之而來的核心問題卻常常被忽視:這些知識圖譜本身的質量究竟如何?在哪些場景下應當使用某個知識圖譜?它能否被信任,用來為 LLM 提供事實依據(grounding)?又該如何對其實施評估?作者認為,如果沒有系統的質量評估方法,基於知識圖譜的 LLM 應用就可能在不自知的情況下建立在不可靠的資料之上,從而放大錯誤並削弱答案的可信度。
為回答上述問題,作者對多個領域的文獻進行了系統回顧,覆蓋資料質量評估、資訊質量評估、關聯資料(linked data)質量評估、知識圖譜質量評估,以及知識圖譜與 LLM 交叉領域的研究。在梳理現有工作的基礎上,作者將當前最先進的評估框架進一步擴充套件,整理出一個包含 24 個質量維度(Quality Dimensions,QDs)的目錄,並歸納了與之對應的多種質量度量指標(Quality Metrics,QMs)。這些維度與指標共同構成了一個較為完整的知識圖譜質量刻畫體系,使研究者與工程實踐者能夠從多個角度審視知識圖譜的優劣。
在方法論層面,論文提出了一個通用的質量評估框架。該框架被設計為面向領域或任務可定製的,並強調實用性,旨在幫助不同應用場景下的團隊根據自身需求選擇合適的質量維度與度量方式,從而對知識圖譜開展系統化評估。作者強調,這一框架並非只服務於學術研究,也面向實際系統建設者,幫助他們在將知識圖譜接入 LLM 之前,判斷其是否足以支撐可信的答案生成。
從更廣的背景看,這項工作回應了 LLM 與知識圖譜結合過程中日益突出的信任問題:LLM 的輸出質量在很大程度上取決於其所依賴的外部知識源,而知識圖譜的質量參差不齊。透過提供包含 24 個質量維度的目錄與可定製的評估框架,論文為知識圖譜的選用、評估與可信度判斷提供了概念性基礎,也為後續在具體領域和任務中落地質量評估實踐指明瞭方向。