量化LLM推理中的静默失败：基于分类法的空心收敛与故障模式转变分析
最新研究表明，后训练量化会在任务准确率保持不变的情况下静默改变大语言模型的推理方式。通过一个六类故障分类法（Cohen's κ=0.906），研究人员分析了30,000条链式思维输出，发现弱精度量化（NF4）下“空心收敛”显著依赖于模型大小，而“捷径崩塌”和“信心滚雪球”等故障模式会发生定性转变，且空心收敛无法通过表面文本特征可靠检测。
一项新研究揭示了后训练量化如何在大语言模型（LLM）任务准确率保持不变的情况下，静默地改变其推理方式。该研究由Renuka Oladri等人完成，论文标题为《Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts》，并已提交至arXiv。
研究人员首先建立了一个包含六个类别的故障分类法，并由两名独立人类标注员验证（Cohen's κ = 0.906）。他们使用该分类法对五款经过指令调优的LLM（参数量从3B到14B）在三种量化精度（FP32、FP16、NF4）和四个推理基准上的30,000条链式思维（CoT）输出进行了分类。
结果表明，尽管模型准确率在不同精度下表现稳健（最大降幅仅为3.1个百分点），但“空心收敛”——即通过不完整或无法验证的推理得到正确答案——在NF4精度下出现了显著的尺寸依赖性变化。具体而言，空心收敛在参数量最小的两款模型（3B）上急剧下降，而在12B及以上的模型中则保持不变。此外，这一效应具有基准特异性：GSM8K基准完全不受影响，而LogiQA和ARC-Challenge则表现出最大幅度的转变。
更值得关注的是，在NF4量化下，LLaMA 3.2-3B模型的故障模式发生了定性转变：“捷径崩塌”在错误答案故障中的占比从44%飙升至78%，而“信心滚雪球”则从15.8%骤降至接近零。这些内在变化在仅关注准确率的传统评估指标中是看不见的。
最后，研究证明空心收敛无法通过表面级别的文本特征可靠检测（最佳F1得分仅为0.53），这表明它是一种与部署相关的故障模式，而标准评估流程无法捕捉到它。该发现对量化LLM的安全部署具有重要意义，提示开发者需要更细致的评估方法，而不仅仅是准确率。