大语言模型在多步推理任务上表现突出，但推理阶段的成本也随规模迅速上升。网络剪枝是降低这一成本的常见思路，然而多数剪枝准则依赖权重幅值或激活统计，这类指标只是与最终性能相关，并不能直接说明某个组件对推理能力究竟有多重要。来自 Amogh Sheth、Yuhao Ge 等五位作者的论文《Pruning via Causal Attribution Preserves Reasoning Performance in Large Language Models》提出因果归因剪枝（Causal Attribution Pruning，CAP），试图把剪枝依据从相关性转向因果性。该工作已被 ICLR 2026 的 LLM Reasoning 研讨会接收，共 13 页、含 2 幅图，于 2026 年 4 月 27 日提交至 arXiv，编号 2606.19350，属于计算与语言（cs.CL）方向。
CAP 是一种免训练方法，核心思想是逐个评估注意力头的功能贡献。具体做法是：准备一小批推理问题作为校准集，在模型前向传播时依次屏蔽某个注意力头，观察任务性能下降多少，并把这一期望退化量作为该头的因果分数。由于测量方式是干预式的——主动移除某个头再看结果变化——它反映的是头与推理表现之间的因果联系，而不是单纯的数值大小或激活强度。随后，这些头级分数被映射为对应投影矩阵中的权重级重要性值，从而把粗粒度的结构判断转化为细粒度的权重剪枝决策。
实验覆盖 Llama-3-8B-Instruct 与 Mistral-7B-Instruct 两个指令微调模型，以及 GSM8K、StrategyQA、ARC-Challenge 三个推理相关基准，并设置 10%、20%、50% 三档稀疏度。在中等稀疏度（10%–20%）区间，CAP 在大多数模型与基准的组合上优于此前常用的 Wanda 方法。最显著的结果出现在 20% 稀疏度的 ARC-Challenge 上：CAP 相对 Wanda 的准确率提升最高达 61%，这一差距说明剪枝准则的选择会直接影响模型保留多少推理能力。
作者也指出了方法的局限。当稀疏度提高到 50% 时，CAP 的优势明显减弱，原因在于该方法目前只对注意力头做细粒度因果归因，而对 MLP 部分仍采用较粗粒度的处理，这一瓶颈制约了更高压缩率下的表现。总体而言，论文的结论是：在同等稀疏度下，基于注意力头级因果归因的剪枝准则，比基于相关性的准则更能保留下游基准上的推理性能；若要把优势扩展到极端稀疏场景，则需要进一步细化 MLP 部分的归因方式。