跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

基于低秩多线性分解的大语言模型幻觉检测

文章摘要

研究者提出 LOTUS 框架,通过多线性低秩分解从大语言模型隐藏状态中提取紧凑表示,并训练轻量级分类器来检测幻觉,在多个模型与问答基准上优于近期最先进基线。

来源arXiv Computational Linguistics作者: Devansh Sharma, Faizul Rakib Sayem, Shahana Ibrahim
基于低秩多线性分解的大语言模型幻觉检测
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型时常会生成表达流畅但与事实不符的回答,这种“幻觉”现象持续引发人们对其可靠性的担忧。近年来,幻觉检测器越来越倾向于利用模型的内部表示来识别这类错误,然而,如何从高维隐藏状态中提取出有信息量的信号,仍是一项颇具挑战的工作。现有的方法往往依赖被选定的激活值,或者基于池化的压缩手段,这可能会遗漏分布在 Transformer 各层、各特征模式以及各个 token 之上的、具有判别力的信息。

针对这一问题,作者提出了一种名为 LOTUS(Low-rank Order-statistic TUcker-based Subspace learning,低秩顺序统计量 Tucker 子空间学习)的多线性低秩分解框架,用于幻觉检测。该方法能够从 LLM 的隐藏状态中提取紧凑的表示,同时降低对标注数据的依赖。

LOTUS 的处理流程分为两个主要阶段。首先,它使用互补的统计描述符来概括变长 token 的表示,这些描述符分别捕捉峰值激活、激活分布以及跨层变化等信息。随后,该方法借助低秩多线性分解提取紧凑表示,以刻画 LLM 隐藏状态的内在结构。这些表示随后被用于训练一个轻量级的幻觉分类器。

作者在多个 LLM 和问答基准上进行了实验,结果显示,与近期最先进的基线方法相比,LOTUS 在幻觉检测性能上有所提升。

该论文由 Devansh Sharma 及另外两位作者共同完成,共 26 页、含 3 幅图,并提供了代码链接。论文于 2026 年 10 月 26 日提交,属于 arXiv 的 cs.CL(计算与语言)分类,同时也涉及 cs.LG(机器学习)方向。论文编号为 arXiv:2610.36191v1,DOI 为 https://doi.org/10.48550/arXiv.2610.36191,由 arXiv 通过 DataCite 发放(注册尚待完成)。提交记录显示,第一作者为 Devansh Sharma,v1 版本于 2026 年 10 月 26 日星期一 19:24:13 UTC 提交,文件大小约 349 KB。读者可通过 PDF、实验性 HTML 以及 TeX 源码等形式获取全文,并可使用音频摘要等附加功能。

展开要点与分析

文章情报

工程师进阶

要点

  • LOTUS 利用互补统计描述符汇总变长 token 表示,捕捉峰值激活、激活分布与跨层变化。
  • 采用低秩多线性分解提取隐藏状态的结构化紧凑表示,降低对标注数据的依赖。
  • 在多个大语言模型和问答基准上取得优于近期最先进基线的幻觉检测表现。
  • 论文共 26 页、3 幅图,代码已公开,属于 cs.CL 与 cs.LG 交叉方向。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。