機械論的解釈可能性の分野では、ニューラルネットワーク内の回路を自動的に局所化する研究が大きく進展している。しかし、局所化されたコンポーネントが何を行っているかを説明することは、依然として労力がかかり、標準化が難しい作業である。この問題に対して、Ayan Antik Khanら5名の著者による新論文は、回路がすでに特定された後、言語モデルエージェントが説明タスクを支援できるかどうかを検討している。この論文は2026年6月23日に提出され、23ページ、4つの図、14の表で構成されている。
言語モデルエージェントの説明能力を体系的に評価するため、研究者らはAgenticInterpBenchベンチマークを導入した。このベンチマークは、84の半合成トランスフォーマー回路で構成され、163のコンポーネントレベル注釈を含み、回路説明タスクの標準化されたテスト環境を提供する。これに基づき、研究者らはHyVE（仮説、検証、説明）というエージェント型説明器を提案した。HyVEは反復ループを通じて各コンポーネントを分析する。まずコンポーネントの動作を観察し、次に仮説を生成し、最後に因果検証を行う。このループを経て、エージェントは最終的にコンポーネントレベルの説明と回路レベルのタスク記述を生成する。
研究者らは4つの言語モデルバックボーンでHyVEの性能をテストした。結果として、HyVEは有用なコンポーネントレベルおよびタスクレベルの説明を回復できたが、すべてのタスクで一貫して最適なバックボーンは存在しなかった。さらなる分析により、成功と失敗のパターンが明らかになった。強力なバックボーンは通常、観察に基づく仮説を形成できるが、失敗は検証ループの後半でより頻繁に発生し、具体的には検証計画の不完全さ、コード実行エラー、または未解決の仮説として現れる。これは、検証段階が現在のエージェント型説明器の主な弱点であることを示している。
半合成ベンチマークに加えて、研究者らはLlama-3-8Bの算術回路を対象としたケーススタディも実施し、同じ方法を適用した。その結果、HyVEの定式化アプローチは半合成ベンチマークだけでなく、自然に訓練されたモデルにも拡張できることが示された。この発見は、実際のモデルへの適用可能性の見通しを強化するものである。
全体として、この研究は言語モデルエージェントが有望な回路説明者であると結論付けているが、信頼性の高い検証が依然として主要な障害である。今後の研究では、検証戦略の完全性と堅牢性を改善し、機械論的解釈可能性における言語モデルエージェントの潜在能力を最大限に引き出すことが求められる。