使用llmcompressor對指令調優的LLM進行FP8、GPTQ和SmoothQuant量化的編碼實現與基準測試

本教程展示瞭如何使用llmcompressor庫對指令調優的語言模型應用訓練後量化。它比較了FP8動態量化、GPTQ W4A16以及SmoothQuant結合GPTQ W8A8，對每種方法進行了磁碟大小、延遲、吞吐量、困惑度和輸出質量的基準測試。文章提供了可複用的Colab程式碼和壓縮權衡的見解。