大型语言模型时常会生成表达流畅但与事实不符的回答,这种“幻觉”现象持续引发人们对其可靠性的担忧。近年来,幻觉检测器越来越倾向于利用模型的内部表示来识别这类错误,然而,如何从高维隐藏状态中提取出有信息量的信号,仍是一项颇具挑战的工作。现有的方法往往依赖被选定的激活值,或者基于池化的压缩手段,这可能会遗漏分布在 Transformer 各层、各特征模式以及各个 token 之上的、具有判别力的信息。
针对这一问题,作者提出了一种名为 LOTUS(Low-rank Order-statistic TUcker-based Subspace learning,低秩顺序统计量 Tucker 子空间学习)的多线性低秩分解框架,用于幻觉检测。该方法能够从 LLM 的隐藏状态中提取紧凑的表示,同时降低对标注数据的依赖。
LOTUS 的处理流程分为两个主要阶段。首先,它使用互补的统计描述符来概括变长 token 的表示,这些描述符分别捕捉峰值激活、激活分布以及跨层变化等信息。随后,该方法借助低秩多线性分解提取紧凑表示,以刻画 LLM 隐藏状态的内在结构。这些表示随后被用于训练一个轻量级的幻觉分类器。
作者在多个 LLM 和问答基准上进行了实验,结果显示,与近期最先进的基线方法相比,LOTUS 在幻觉检测性能上有所提升。
该论文由 Devansh Sharma 及另外两位作者共同完成,共 26 页、含 3 幅图,并提供了代码链接。论文于 2026 年 10 月 26 日提交,属于 arXiv 的 cs.CL(计算与语言)分类,同时也涉及 cs.LG(机器学习)方向。论文编号为 arXiv:2610.36191v1,DOI 为 https://doi.org/10.48550/arXiv.2610.36191,由 arXiv 通过 DataCite 发放(注册尚待完成)。提交记录显示,第一作者为 Devansh Sharma,v1 版本于 2026 年 10 月 26 日星期一 19:24:13 UTC 提交,文件大小约 349 KB。读者可通过 PDF、实验性 HTML 以及 TeX 源码等形式获取全文,并可使用音频摘要等附加功能。