跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

语言模型代理能否成为机制可解释性中的有效电路解释器?

文章摘要

一篇新论文探讨语言模型代理能否帮助解释已定位的神经网络电路。研究者推出了AgenticInterpBench基准和HyVE方法,在四种语言模型主干上测试,发现代理能生成有用的解释,但验证环节是主要瓶颈。

来源arXiv AI作者: Ayan Antik Khan, Harsh Kohli, Yuekun Yao, Huan Sun, Ziyu Yao
语言模型代理能否成为机制可解释性中的有效电路解释器?
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

机制可解释性领域近年来在自动定位电路(circuit)方面取得了显著进展,但一旦电路被定位出来,弄清楚其中各个组件究竟在做什么,仍然是一项高度依赖人工、难以标准化的工作。2026年6月23日提交到arXiv(编号2606.24026,分类cs.AI)的一篇论文,正是围绕这一后续难题展开研究。论文题目为《Can Language Model Agents be Helpful Circuit Explainers in Mechanistic Interpretability?》,由Ayan Antik Khan等共五位作者完成,全文共23页,包含4幅图和14张表格。

作者提出的核心问题是:在电路已经被识别出来的前提下,语言模型(LM)智能体能否协助完成“解释”这一环节。为回答这个问题,研究团队构建了AgenticInterpBench,这是一个专门用于电路解释的基准测试,由84个半合成(semi-synthetic)Transformer电路组成,并配有163条组件级标注。这些标注为评估智能体给出的解释是否准确提供了可对照的参照。

在方法上,论文提出了名为HyVE(Hypothesize, Validate, Explain,即假设、验证、解释)的智能体式解释器。HyVE对电路中的每个组件进行分析,其工作方式是一个迭代循环:先进行观察,再生成关于该组件功能的假设,然后通过因果实验进行验证;在循环结束后,最终产出一份组件级解释以及一段关于整个电路所执行任务的整体描述。这种“观察—假设—因果验证”的结构,使解释不只是凭直觉生成的文字,而是与可检验的因果证据相挂钩。

研究团队在四种不同的LM主干模型上对HyVE进行了测试。结果显示,HyVE能够为组件层面和任务层面恢复出有用的解释,但没有任何一个主干模型在所有情况下都表现最佳。这一点提示,不同模型在解释任务上各有长短,不能简单依赖单一模型。

作者进一步分析了成功与失败的来源。较强的模型主干通常能够形成以观察为依据的假设,也就是说,它们在提出假设之前会充分地观察组件行为;而失败则更多出现在验证循环的后段,典型原因包括验证方案不完整、代码执行出错,以及假设始终无法被解决。换言之,瓶颈往往不在“提出想法”,而在“如何可靠地检验想法”。

为验证方法是否只适用于半合成基准,论文还进行了一项案例研究,对象是Llama-3-8B中的一个算术电路。结果表明,同样的公式化框架可以推广到自然训练的模型,而不局限于人工构造的半合成电路。

总体而言,论文的结论是:LM智能体作为电路解释者具有前景,但可靠的验证仍然是关键障碍。这一结论既肯定了智能体在可解释性工作中的辅助价值,也明确指出了当前方法的局限所在。此外,该论文以arXiv DOI 10.48550/arXiv.2606.24026发布,目前DOI由DataCite注册尚待完成,提交版本为v1,提交时间为2026年6月23日00:04:31 UTC,文件大小约239 KB。

展开要点与分析

文章情报

工程师进阶

要点

  • 论文提出AgenticInterpBench基准,包含84个半合成Transformer电路和163个组件级标注
  • HyVE代理通过观察、假设生成和因果验证的迭代循环来分析电路组件
  • 强主干模型通常能形成基于观察的假设,但失败多发生在验证阶段
  • 在Llama-3-8B算术电路上的案例研究表明方法可扩展到自然训练模型

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。