量化LLM推理中的靜默失敗：基於分類法的空心收斂與故障模式轉變分析
最新研究表明，後訓練量化會在任務準確率保持不變的情況下靜默改變大語言模型的推理方式。透過一個六類故障分類法（Cohen's κ=0.906），研究人員分析了30,000條鏈式思維輸出，發現弱精度量化（NF4）下“空心收斂”顯著依賴於模型大小，而“捷徑崩塌”和“信心滾雪球”等故障模式會發生定性轉變，且空心收斂無法透過表面文本特徵可靠檢測。
一項新研究揭示了後訓練量化如何在大語言模型（LLM）任務準確率保持不變的情況下，靜默地改變其推理方式。該研究由Renuka Oladri等人完成，論文標題為《Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts》，並已提交至arXiv。
研究人員首先建立了一個包含六個類別的故障分類法，並由兩名獨立人類標註員驗證（Cohen's κ = 0.906）。他們使用該分類法對五款經過指令調優的LLM（引數量從3B到14B）在三種量化精度（FP32、FP16、NF4）和四個推理基準上的30,000條鏈式思維（CoT）輸出進行了分類。
結果表明，儘管模型準確率在不同精度下表現穩健（最大降幅僅為3.1個百分點），但“空心收斂”——即透過不完整或無法驗證的推理得到正確答案——在NF4精度下出現了顯著的尺寸依賴性變化。具體而言，空心收斂在引數量最小的兩款模型（3B）上急劇下降，而在12B及以上的模型中則保持不變。此外，這一效應具有基準特異性：GSM8K基準完全不受影響，而LogiQA和ARC-Challenge則表現出最大幅度的轉變。
更值得關注的是，在NF4量化下，LLaMA 3.2-3B模型的故障模式發生了定性轉變：“捷徑崩塌”在錯誤答案故障中的佔比從44%飆升至78%，而“信心滾雪球”則從15.8%驟降至接近零。這些內在變化在僅關注準確率的傳統評估指標中是看不見的。
最後，研究證明空心收斂無法透過表面級別的文本特徵可靠檢測（最佳F1得分僅為0.53），這表明它是一種與部署相關的故障模式，而標準評估流程無法捕捉到它。該發現對量化LLM的安全部署具有重要意義，提示開發者需要更細緻的評估方法，而不僅僅是準確率。