近日，一篇由Michael Li和Nishant Subramani撰写的论文《How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits》在arXiv上发表（编号2605.08348）。该研究对语言模型电路框架进行了深入剖析，揭示了电路在任务内部的高度一致性和必要性，但在任务间缺乏特异性，从而对其用于针对性模型干预的有效性提出了质疑。
电路框架是机制可解释性中的一个重要方法，旨在识别模型中因果重要的稀疏子图。传统上，研究者通过必要性和充分性指标来评估电路。然而，本研究引入了两个较少被探索的属性：一致性（电路组件在任务内重复出现的程度）和特异性（组件对特定任务的独特性）。研究人员采用边归因修补技术，在六个不同的自然语言处理任务（包括情感分析、问答、推理等）和七个不同的语言模型（包括不同大小和架构的模型）上进行了系统性实验。
实验结果表明，在单个任务内部，电路组件的重用率非常高，并且这些共享组件对任务性能至关重要。当将这些共享组件消融时，模型的相对准确率下降高达约100%。然而，令人惊讶的是，电路并不具有任务特异性。消融一个任务的电路，几乎会同等程度地损害另一个任务的性能。研究人员发现，这是因为不同任务之间的电路存在大量的因果重要重叠。尽管确实存在一小部分任务特异组件，但它们对整体性能的贡献有限。
这项发现对机械可解释性领域具有重大意义。它表明，尽管现有的电路发现方法能够识别出重要的组件（如注意力头和MLP层），但这些组件的任务特异性不足，因此电路框架可能无法很好地支撑对模型行为的精确理解和定向干预。未来的研究可能需要探索更细粒度的电路识别方法，或者重新考虑如何评估电路的价值。该研究还提示，在应用电路进行模型编辑或干预时，需谨慎考虑跨任务的影响。