大規模言語モデルは多段階推論で高い性能を示す一方、推論コストが大きな課題となる。プルーニングはこのコストを下げる代表的な手法だが、従来の基準は重みの大きさや活性化統計に依存しており、モデルの推論能力にとって各構成要素がどれだけ本質的に重要かを直接示すものではない。Amogh Sheth 氏、Yuhao Ge 氏ら 5 名による論文「Pruning via Causal Attribution Preserves Reasoning Performance in Large Language Models」は、相関ではなく因果に基づいてプルーニングを行う因果帰属プルーニング（Causal Attribution Pruning、CAP）を提案している。本論文は ICLR 2026 の LLM Reasoning ワークショップに採択され、13 ページ・図 2 点からなり、2026 年 4 月 27 日に arXiv（2606.19350、cs.CL）へ投稿された。
CAP の要点は、アテンションヘッドごとの機能的な寄与を学習なしで評価する点にある。少数の推論問題からなるキャリブレーションセットを用意し、フォワードパス中に特定のヘッドをマスクしたときのタスク性能の低下量を期待値として見積もり、これをそのヘッドの因果スコアとする。ヘッドを実際に取り除いて結果の変化を観測する介入的な測定であるため、単なる数値の大きさや活性化の強さではなく、推論性能との因果的な結びつきを捉えられる。得られたヘッド単位のスコアは、対応する投影行列の重みレベルの重要度へ変換され、粗い構造判断を細粒度の重みプルーニングへと落とし込む。
評価は Llama-3-8B-Instruct と Mistral-7B-Instruct の 2 モデル、GSM8K・StrategyQA・ARC-Challenge の 3 ベンチマーク、10%・20%・50% の 3 水準の疎度で行われた。中程度の疎度（10〜20%）では、CAP は多くのモデル・ベンチマークの組み合わせで既存の Wanda を上回った。特に顕著なのは 20% 疎度の ARC-Challenge で、Wanda に対する相対的な精度向上は最大 61% に達した。この差は、プルーニング基準の選択がモデルに残る推論能力を大きく左右することを示している。
著者らは限界も明示している。疎度を 50% まで高めると CAP の優位性は弱まる。これは、本手法がアテンションヘッドについては細粒度の因果帰属を行う一方、MLP 部分については粗い扱いに留まっているためであり、高い圧縮率での性能を制約する要因となっている。結論として論文は、同一疎度においてはアテンションヘッド単位の因果帰属に基づく基準が、相関に基づく基準よりも下流ベンチマーク上の推論性能を維持できると述べている。極端な疎度へ利点を広げるには、MLP 側の帰属をさらに細分化する必要がある。