近年来，将大语言模型（LLM）部署到智能手机、物联网设备等资源受限的边缘计算环境成为研究热点。量化技术通过将全精度（如16位）的权重和激活值转换为低位（如8位、4位甚至更低）表示，显著减少了模型存储和计算开销。然而，传统量化方法存在明显瓶颈：训练后量化（PTQ）仅在小数据集上校准参数，无需重训练，但在4位以下精度时性能急剧下降；量化感知训练（QAT）使用代理梯度搜索低比特参数，但计算资源需求巨大；量化感知蒸馏（QAD）结合了QAT与全精度教师的知识迁移，却需要手动选择蒸馏特征并严重依赖教师数据。
针对上述缺陷，由Shu-Hao Zhang等人提出的EdgeRazor框架提供了一种全新的解决方案。该框架由三个创新模块构成：一是混合精度量化感知蒸馏（Mixed-Precision Quantization-Aware Distillation），它允许为模型不同部分分配不同的比特宽度，实现精度的细粒度控制；二是自适应特征蒸馏（Adaptive Feature Distillation），能够从16位的教师模型自动导出不同比特宽度的学生模型，无需手动特征选择；三是熵感知KL散度（Entropy-Aware KL Divergence），该损失函数在人工标注数据集和蒸馏生成的数据集上自动平衡前向和反向KL散度，其平衡权重完全由教师输出的分布熵决定，消除了手工调参的需求。
研究者们在基础模型、指令微调模型以及多模态LLM上进行了广泛的实验验证。结果令人瞩目：仅1.88比特的EdgeRazor模型不仅超越了所有3比特的竞争方法，甚至比当前领先的2比特PTQ方法高出11.3个百分点的准确率，而训练预算仅为领先QAT方法的4到10分之一。在所有比特宽度下，EdgeRazor均实现了更高的压缩比：例如，1.58比特的Qwen3-0.6B模型存储从原始的1.41 GB骤降至0.28 GB，解码速度相对于16位基线提升了15.1倍。
这一研究成果为边缘设备上的大语言模型部署开辟了新路径，有望推动LLM在移动端和物联网场景中的实际应用，大幅降低推理成本和能耗。