2026年5月8日、arXivに投稿された論文「How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits」（著者：Michael Li、Nishant Subramani）は、言語モデルの回路フレームワークの限界を詳細に調査しました。回路フレームワークは、メカニスティック解釈可能性において、モデル内の因果的に重要なスパースな部分グラフを特定する手法です。これまでは主に必要性と十分性で評価されてきましたが、本研究では、一貫性（タスク内でのコンポーネントの繰り返し出現）と特異性（特定のタスクへの固有性）という2つの特性に焦点を当てています。
研究者らは、エッジアトリビューションパッチングという手法を用いて、6つの異なる自然言語処理タスクと7つの言語モデルに対して実験を行いました。その結果、タスク内でのコンポーネント再利用性は高く、共有コンポーネントはタスクの性能に不可欠であり、それらを除去すると最大約100%の相対精度低下が発生することがわかりました。しかし、回路はタスク特異的ではありませんでした。あるタスクの回路を除去すると、別のタスクの性能も同じ程度に低下したのです。これは、異なるタスクの回路間に因果的に重要な重複が多く存在するためです。一部の回路にはタスク特異的なコンポーネントの小さなセットが含まれていますが、それらが全体の性能に占める割合はわずかです。
この発見は、回路発見手法がアテンションヘッドやMLP層のレベルで重要なコンポーネントを特定できることを示す一方で、それらのタスク特異性の欠如が、回路によるモデル動作の標的型理解や介入の可能性に疑問を投げかけています。今後の研究では、より細かい粒度での回路特定や、回路の意義を評価する新たな指標の開発が求められるでしょう。この研究は、機械解釈可能性の分野における回路フレームワークの有効性と限界を浮き彫りにしました。