近年來，將大語言模型（LLM）部署到智慧手機、物聯網裝置等資源受限的邊緣計算環境成為研究熱點。量化技術透過將全精度（如16位）的權重和啟用值轉換為低位（如8位、4位甚至更低）表示，顯著減少了模型儲存和計算開銷。然而，傳統量化方法存在明顯瓶頸：訓練後量化（PTQ）僅在小資料集上校準引數，無需重訓練，但在4位以下精度時效能急劇下降；量化感知訓練（QAT）使用代理梯度搜尋低位元引數，但計算資源需求巨大；量化感知蒸餾（QAD）結合了QAT與全精度教師的知識遷移，卻需要手動選擇蒸餾特徵並嚴重依賴教師資料。
針對上述缺陷，由Shu-Hao Zhang等人提出的EdgeRazor框架提供了一種全新的解決方案。該框架由三個創新模組構成：一是混合精度量化感知蒸餾（Mixed-Precision Quantization-Aware Distillation），它允許為模型不同部分分配不同的位元寬度，實現精度的細粒度控制；二是自適應特徵蒸餾（Adaptive Feature Distillation），能夠從16位的教師模型自動匯出不同位元寬度的學生模型，無需手動特徵選擇；三是熵感知KL散度（Entropy-Aware KL Divergence），該損失函式在人工標註資料集和蒸餾生成的資料集上自動平衡前向和反向KL散度，其平衡權重完全由教師輸出的分佈熵決定，消除了手工調參的需求。
研究者們在基礎模型、指令微調模型以及多模態LLM上進行了廣泛的實驗驗證。結果令人矚目：僅1.88位元的EdgeRazor模型不僅超越了所有3位元的競爭方法，甚至比當前領先的2位元PTQ方法高出11.3個百分點的準確率，而訓練預算僅為領先QAT方法的4到10分之一。在所有位元寬度下，EdgeRazor均實現了更高的壓縮比：例如，1.58位元的Qwen3-0.6B模型儲存從原始的1.41 GB驟降至0.28 GB，解碼速度相對於16位基線提升了15.1倍。
這一研究成果為邊緣裝置上的大語言模型部署開闢了新路徑，有望推動LLM在移動端和物聯網場景中的實際應用，大幅降低推理成本和能耗。