近年來，將大語言模型（LLM）部署到智能手機、物聯網設備等資源受限的邊緣計算環境成為研究熱點。量化技術通過將全精度（如16位）的權重和激活值轉換為低位（如8位、4位甚至更低）表示，顯著減少了模型存儲和計算開銷。然而，傳統量化方法存在明顯瓶頸：訓練後量化（PTQ）僅在小數據集上校準參數，無需重訓練，但在4位以下精度時性能急劇下降；量化感知訓練（QAT）使用代理梯度搜索低比特參數，但計算資源需求巨大；量化感知蒸餾（QAD）結合了QAT與全精度教師的知識遷移，卻需要手動選擇蒸餾特徵並嚴重依賴教師數據。
針對上述缺陷，由Shu-Hao Zhang等人提出的EdgeRazor框架提供了一種全新的解決方案。該框架由三個創新模塊構成：一是混合精度量化感知蒸餾（Mixed-Precision Quantization-Aware Distillation），它允許為模型不同部分分配不同的比特寬度，實現精度的細粒度控制；二是自適應特徵蒸餾（Adaptive Feature Distillation），能夠從16位的教師模型自動導出不同比特寬度的學生模型，無需手動特徵選擇；三是熵感知KL散度（Entropy-Aware KL Divergence），該損失函數在人工標註數據集和蒸餾生成的數據集上自動平衡前向和反向KL散度，其平衡權重完全由教師輸出的分佈熵決定，消除了手工調參的需求。
研究者們在基礎模型、指令微調模型以及多模態LLM上進行了廣泛的實驗驗證。結果令人矚目：僅1.88比特的EdgeRazor模型不僅超越了所有3比特的競爭方法，甚至比當前領先的2比特PTQ方法高出11.3個百分點的準確率，而訓練預算僅為領先QAT方法的4到10分之一。在所有比特寬度下，EdgeRazor均實現了更高的壓縮比：例如，1.58比特的Qwen3-0.6B模型存儲從原始的1.41 GB驟降至0.28 GB，解碼速度相對於16位基線提升了15.1倍。
這一研究成果為邊緣設備上的大語言模型部署開闢了新路徑，有望推動LLM在移動端和物聯網場景中的實際應用，大幅降低推理成本和能耗。