近日，IBM 发布了其 Granite 4.1 系列大语言模型，包括 3B、8B 和 30B 三种参数规模，均采用 Apache 2.0 开源许可。该系列模型由 IBM 研究团队开发，团队成员 Yousaf Shah 在 Hugging Face 博客上发表了题为“Granite 4.1 LLMs: How They’re Built”的文章，详细介绍了模型的训练过程、数据策略和架构创新。Granite 4.1 模型在多个基准测试中表现优异，同时保持了较高的推理效率。
随后，Unsloth 项目发布了针对 Granite 4.1 3B 模型的 GGUF 量化变体集合，共 21 个不同的量化版本，文件大小从 1.2GB 到 6.34GB 不等，涵盖了从低比特量化到高精度量化的各种配置。所有 21 个文件的总大小达到 51.3GB，这给了知名 AI 博客作者 Simon Willison 一个绝佳的实验机会：他长期以来一直想测试不同量化级别对模型输出质量的影响。
Willison 设计了一个统一的提示：“生成一只骑自行车的鹈鹕的 SVG 图像”，并针对每个量化变体运行这个提示，然后比较输出结果。他期望能够观察到随着模型大小（或量化比特数）增加，输出质量有规律地提升。然而，结果却出乎意料地令人失望。所有 21 个变体生成的 SVG 图像质量都非常糟糕，基本上只是一堆抽象的形状，没有任何一个能清晰地描绘出鹈鹕或自行车。更令人困惑的是，质量与模型大小之间没有任何可辨别的规律——最小的 1.2GB 模型反而生成了相对最好的自行车轮廓，而最大的 6.34GB 模型则只产生了一些勉强像鹈鹕的杂乱形状。
Willison 在博客中坦言，这些结果“比我预期的更无趣”，并总结说这个实验并没有揭示出量化大小与输出质量之间的简单关系。他计划未来使用更擅长绘制鹈鹕的模型（例如专门针对图像生成进行微调的模型）再次尝试。该实验的完整结果（所有 21 幅 SVG 图像）已发布在 Willison 的 GitHub 页面上，供社区参考。这篇文章于 2026 年 5 月 4 日发布在 Simon Willison 的博客上，并标记为链接博客。
此次实验虽然结果不尽如人意，但也提醒了社区：量化模型在特定任务上的表现可能与预期存在较大差异，实际应用中需要根据具体场景进行充分测试。