机制可解释性领域近年来在自动定位电路(circuit)方面取得了显著进展,但一旦电路被定位出来,弄清楚其中各个组件究竟在做什么,仍然是一项高度依赖人工、难以标准化的工作。2026年6月23日提交到arXiv(编号2606.24026,分类cs.AI)的一篇论文,正是围绕这一后续难题展开研究。论文题目为《Can Language Model Agents be Helpful Circuit Explainers in Mechanistic Interpretability?》,由Ayan Antik Khan等共五位作者完成,全文共23页,包含4幅图和14张表格。
作者提出的核心问题是:在电路已经被识别出来的前提下,语言模型(LM)智能体能否协助完成“解释”这一环节。为回答这个问题,研究团队构建了AgenticInterpBench,这是一个专门用于电路解释的基准测试,由84个半合成(semi-synthetic)Transformer电路组成,并配有163条组件级标注。这些标注为评估智能体给出的解释是否准确提供了可对照的参照。
在方法上,论文提出了名为HyVE(Hypothesize, Validate, Explain,即假设、验证、解释)的智能体式解释器。HyVE对电路中的每个组件进行分析,其工作方式是一个迭代循环:先进行观察,再生成关于该组件功能的假设,然后通过因果实验进行验证;在循环结束后,最终产出一份组件级解释以及一段关于整个电路所执行任务的整体描述。这种“观察—假设—因果验证”的结构,使解释不只是凭直觉生成的文字,而是与可检验的因果证据相挂钩。
研究团队在四种不同的LM主干模型上对HyVE进行了测试。结果显示,HyVE能够为组件层面和任务层面恢复出有用的解释,但没有任何一个主干模型在所有情况下都表现最佳。这一点提示,不同模型在解释任务上各有长短,不能简单依赖单一模型。
作者进一步分析了成功与失败的来源。较强的模型主干通常能够形成以观察为依据的假设,也就是说,它们在提出假设之前会充分地观察组件行为;而失败则更多出现在验证循环的后段,典型原因包括验证方案不完整、代码执行出错,以及假设始终无法被解决。换言之,瓶颈往往不在“提出想法”,而在“如何可靠地检验想法”。
为验证方法是否只适用于半合成基准,论文还进行了一项案例研究,对象是Llama-3-8B中的一个算术电路。结果表明,同样的公式化框架可以推广到自然训练的模型,而不局限于人工构造的半合成电路。
总体而言,论文的结论是:LM智能体作为电路解释者具有前景,但可靠的验证仍然是关键障碍。这一结论既肯定了智能体在可解释性工作中的辅助价值,也明确指出了当前方法的局限所在。此外,该论文以arXiv DOI 10.48550/arXiv.2606.24026发布,目前DOI由DataCite注册尚待完成,提交版本为v1,提交时间为2026年6月23日00:04:31 UTC,文件大小约239 KB。