跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

基於低秩多線性分解的大語言模型幻覺檢測

文章摘要

研究者提出 LOTUS 框架,透過多線性低秩分解從大語言模型隱藏狀態中提取緊湊表示,並訓練輕量級分類器來檢測幻覺,在多個模型與問答基準上優於近期最先進基線。

來源arXiv Computational Linguistics作者: Devansh Sharma, Faizul Rakib Sayem, Shahana Ibrahim
基於低秩多線性分解的大語言模型幻覺檢測
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大型語言模型時常會生成表達流暢但與事實不符的回答,這種“幻覺”現象持續引發人們對其可靠性的擔憂。近年來,幻覺檢測器越來越傾向於利用模型的內部表示來識別這類錯誤,然而,如何從高維隱藏狀態中提取出有資訊量的訊號,仍是一項頗具挑戰的工作。現有的方法往往依賴被選定的啟用值,或者基於池化的壓縮手段,這可能會遺漏分佈在 Transformer 各層、各特徵模式以及各個 token 之上的、具有判別力的資訊。

針對這一問題,作者提出了一種名為 LOTUS(Low-rank Order-statistic TUcker-based Subspace learning,低秩順序統計量 Tucker 子空間學習)的多線性低秩分解框架,用於幻覺檢測。該方法能夠從 LLM 的隱藏狀態中提取緊湊的表示,同時降低對標註資料的依賴。

LOTUS 的處理流程分為兩個主要階段。首先,它使用互補的統計描述符來概括變長 token 的表示,這些描述符分別捕捉峰值啟用、啟用分佈以及跨層變化等資訊。隨後,該方法藉助低秩多線性分解提取緊湊表示,以刻畫 LLM 隱藏狀態的內在結構。這些表示隨後被用於訓練一個輕量級的幻覺分類器。

作者在多個 LLM 和問答基準上進行了實驗,結果顯示,與近期最先進的基線方法相比,LOTUS 在幻覺檢測效能上有所提升。

該論文由 Devansh Sharma 及另外兩位作者共同完成,共 26 頁、含 3 幅圖,並提供了程式碼連結。論文於 2026 年 10 月 26 日提交,屬於 arXiv 的 cs.CL(計算與語言)分類,同時也涉及 cs.LG(機器學習)方向。論文編號為 arXiv:2610.36191v1,DOI 為 https://doi.org/10.48550/arXiv.2610.36191,由 arXiv 透過 DataCite 發放(註冊尚待完成)。提交記錄顯示,第一作者為 Devansh Sharma,v1 版本於 2026 年 10 月 26 日星期一 19:24:13 UTC 提交,檔案大小約 349 KB。讀者可透過 PDF、實驗性 HTML 以及 TeX 原始碼等形式獲取全文,並可使用音訊摘要等附加功能。

展開要點與分析

文章情報

工程師進階

要點

  • LOTUS 利用互補統計描述符彙總變長 token 表示,捕捉峰值啟用、啟用分佈與跨層變化。
  • 採用低秩多線性分解提取隱藏狀態的結構化緊湊表示,降低對標註資料的依賴。
  • 在多個大語言模型和問答基準上取得優於近期最先進基線的幻覺檢測表現。
  • 論文共 26 頁、3 幅圖,程式碼已公開,屬於 cs.CL 與 cs.LG 交叉方向。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。