使用llmcompressor对指令调优的LLM进行FP8、GPTQ和SmoothQuant量化的编码实现与基准测试

本教程展示了如何使用llmcompressor库对指令调优的语言模型应用训练后量化。它比较了FP8动态量化、GPTQ W4A16以及SmoothQuant结合GPTQ W8A8，对每种方法进行了磁盘大小、延迟、吞吐量、困惑度和输出质量的基准测试。文章提供了可复用的Colab代码和压缩权衡的见解。