近日，一篇由Michael Li和Nishant Subramani撰寫的論文《How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits》在arXiv上發表（編號2605.08348）。該研究對語言模型電路框架進行了深入剖析，揭示了電路在任務內部的高度一致性和必要性，但在任務間缺乏特異性，從而對其用於針對性模型干預的有效性提出了質疑。
電路框架是機制可解釋性中的一個重要方法，旨在識別模型中因果重要的稀疏子圖。傳統上，研究者透過必要性和充分性指標來評估電路。然而，本研究引入了兩個較少被探索的屬性：一致性（電路元件在任務內重複出現的程度）和特異性（元件對特定任務的獨特性）。研究人員採用邊歸因修補技術，在六個不同的自然語言處理任務（包括情感分析、問答、推理等）和七個不同的語言模型（包括不同大小和架構的模型）上進行了系統性實驗。
實驗結果表明，在單個任務內部，電路元件的重用率非常高，並且這些共享元件對任務效能至關重要。當將這些共享元件消融時，模型的相對準確率下降高達約100%。然而，令人驚訝的是，電路並不具有任務特異性。消融一個任務的電路，幾乎會同等程度地損害另一個任務的效能。研究人員發現，這是因為不同任務之間的電路存在大量的因果重要重疊。儘管確實存在一小部分任務特異元件，但它們對整體效能的貢獻有限。
這項發現對機械可解釋性領域具有重大意義。它表明，儘管現有的電路發現方法能夠識別出重要的元件（如注意力頭和MLP層），但這些元件的任務特異性不足，因此電路框架可能無法很好地支撐對模型行為的精確理解和定向干預。未來的研究可能需要探索更細粒度的電路識別方法，或者重新考慮如何評估電路的價值。該研究還提示，在應用電路進行模型編輯或干預時，需謹慎考慮跨任務的影響。