跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

MechELK:面向大语言模型潜在知识提取的机制可解释性框架

文章摘要

该论文提出MechELK,一个三阶段框架,将机制可解释性工具与潜在知识提取相结合,在TruthfulQA等基准上达到84.7%的平均提取准确率,并能在模型表面输出错误或回避时识别出78.3%的潜在知识,有助于检测欺骗性对齐。

来源arXiv Computational Linguistics作者: Ji-jun Park, Soo-joon Choi, Jiwon Jeong, Taeyang Yoon, Ju-Wan Lee
MechELK:面向大语言模型潜在知识提取的机制可解释性框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型常常在内部表征中存储了事实性与推理性知识,但这些知识并未忠实反映在其表层输出中,这一现象被称为“潜在知识”(latent knowledge)。针对这一问题,Ji-jun Park 等五位作者于 2026 年 4 月 7 日提交至 arXiv(编号 arXiv:2605.28825,属计算与语言 cs.CL 分类)的论文提出了名为 MechELK 的统一框架,试图把机制可解释性与潜在知识提取连接起来。

论文指出,现有潜在知识提取方法存在明显局限。以对比一致性搜索(Contrastive Consistency Search,CCS)为代表的方法依赖对比激活模式,在面对复杂多步推理任务时表现不佳;而机制可解释性工具此前主要用于“理解”模型行为,而非“提取”隐藏知识。MechELK 的出发点正是弥合这两条研究路线之间的缝隙。

MechELK 采用三阶段流程。第一阶段为“定位”(Locate),通过稀疏自编码器(Sparse Autoencoder,SAE)的特征分析与激活修补(activation patching)来识别承载知识的表征。第二阶段为“验证”(Verify),利用因果探针区分真正的潜在知识与虚假相关。第三阶段为“提取”(Elicit),应用表征工程在不修改模型权重的前提下将隐藏知识显性化。

在评估方面,作者在 TruthfulQA、一个经过整理的欺骗性对齐(Deceptive Alignment)基准以及 Quirky LM 数据集上进行了测试。结果显示,MechELK 的平均提取准确率达到 84.7%,比 CCS 高出 6.2 个百分点,比直接线性探针高出 9.1 个百分点。

更具意义的是,在模型表层输出错误或回避的案例中,MechELK 有 78.3% 的情况成功识别出潜在知识。作者据此强调该框架对 AI 安全应用的价值,尤其是欺骗性对齐检测。论文于 2026 年 4 月 7 日 18:05:06 UTC 提交,版本为 v1,文件约 97 KB,DOI 为 10.48550/arXiv.2605.28825。

展开要点与分析

文章情报

工程师进阶

要点

  • MechELK通过定位、验证、提取三阶段,从模型内部表示中挖掘未在输出中体现的潜在知识
  • 在TruthfulQA、欺骗性对齐基准和Quirky LM数据集上平均提取准确率84.7%,优于CCS 6.2%、直接线性探测9.1%
  • 在78.3%的模型表面输出错误或回避案例中成功识别潜在知识,可用于AI安全场景

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。