最近、大規模言語モデル（LLM）をスマートフォンやIoTデバイスなどのリソース制約のあるエッジ環境に展開することへの関心が高まっています。量子化技術は、全精度（16ビットなど）の重みと活性化を低ビット（8ビット、4ビット、さらにはそれ以下）形式に変換することで、モデルのストレージと計算コストを大幅に削減する有望な手法です。しかし、従来の量子化手法には明確な限界があります。訓練後量子化（PTQ）は小規模データセットでパラメータを調整するだけで再訓練を必要としませんが、4ビット未満では性能が著しく低下します。量子化認識訓練（QAT）は代理勾配を用いて低ビットパラメータを探索しますが、膨大な計算リソースを必要とします。量子化認識蒸留（QAD）はQATと全精度教師モデルからの知識転移を組み合わせますが、蒸留する特徴を手動で選択する必要があり、教師データに大きく依存します。
これらの問題に対処するため、Shu-Hao Zhangらの研究チームはEdgeRazorフレームワークを提案しました。このフレームワークは3つの革新的なモジュールで構成されています。1つ目は混合精度量子化認識蒸留（Mixed-Precision Quantization-Aware Distillation）で、モデルの各部分に異なるビット幅を割り当てることができ、精度の細粒度な制御を実現します。2つ目は適応的特徴蒸留（Adaptive Feature Distillation）で、16ビットの教師モデルから自動的に異なるビット幅の学生モデルを導出し、手動での特徴選択を不要にします。3つ目はエントロピー認識KLダイバージェンス（Entropy-Aware KL Divergence）で、人間がアノテーションしたデータセットと蒸留データセットの両方に対して前方・後方KLダイバージェンスのバランスを自動的に調整し、そのバランス重みは教師の出力分布のエントロピーによってのみ決定されるため、手動調整の必要がありません。
研究者たちは、ベースモデル、指示チューニングモデル、マルチモーダルLLMに対して広範な実験を実施しました。結果は印象的です。わずか1.88ビットのEdgeRazorモデルは、3ビットの競合手法すべてを凌駕し、主要な2ビットPTQ手法を11.3ポイント上回る精度を達成しました。しかも、トレーニング予算は主要なQAT手法の4分の1から10分の1です。すべてのビット幅で高い圧縮率を実現し、例えば1.58ビットのQwen3-0.6Bモデルではストレージが1.41 GBから0.28 GBに削減され、デコード速度は16ビットベースライン比で15.1倍高速化されました。
この研究成果は、エッジデバイス上でのLLM展開に新たな道を開き、モバイルやIoTアプリケーションにおける推論コストと消費電力の大幅な削減に貢献することが期待されます。