PrismML发布Bonsai 27B：Qwen3.6-27B的1位和三进制版本，可在笔记本电脑和手机上运行

PrismML 发布了 Bonsai 27B，这是基于 Qwen3.6-27B 的低位表示模型，并非全新的预训练模型，架构保持不变。该模型提供两种变体，均采用 Apache 2.0 许可证。三进制 Bonsai 27B 使用 {−1, 0, +1} 权重，实际每位仅 1.71 比特，理想大小为 5.9GB。二进制 Bonsai 27B 使用 {−1, +1} 权重，每位 1.125 比特，大小为 3.9GB。两种变体均支持多模态，语言权重约 24.8B，视觉塔 0.46B，嵌入和 LM 头 2.5B。视觉塔以 4 位 (HQQ) 单独保留。上下文长度为 262K 令牌，得益于 Qwen3.6-27B 约 75% 的注意力是线性的，使其在实际应用中可行。

压缩方法的核心是每个权重作为一个编码，每 128 个权重共享一个 FP16 缩放因子。有效权重为 w_i = s_g · t_i。三进制值携带 log2(3) ≈ 1.585 位，加上每 128 权重 16/128 位，得到约 1.71 位/权重，相比 FP16 压缩约 9.4 倍。二进制成本为 1 + 16/128 = 1.125 位，压缩约 14.2 倍。该表示在嵌入、注意力投影、MLP 投影和 LM 头等矩阵密集型组件上端到端运行，仅归一化和缩放参数等极少数尾部保持更高精度。

性能方面，PrismML 在 15 个基准上以思考模式评估了三进制和二进制版本。三进制 Bonsai 27B 保留了 FP16 基线的 94.6%，二进制保留了 89.5%。传统亚 4 位构建在 AIME、LiveCodeBench 和代理任务上会出现选择性崩溃，而 Bonsai 表现稳健。例如，IQ2_XXS 在 AIME26 上降至 57.5，在 LiveCodeBench 上降至 56.4，但在 MMLU-Redux 上仍得 88.93，表明短格式基准掩盖了崩溃。

内存是主要约束。iOS 限制单个应用使用约一半物理内存，因此 12GB iPhone 仅暴露约 6GB。KV 缓存是第二预算，262K 窗口的 FP16 缓存需 17.2GB，4 位 KV 缓存将其降至约 4.3GB。三进制 Bonsai 在 MATH-500 上相对于 FP16 KV 基线的输出前向 KL 仅为 0.0011 nats，而 Q4_K_XL 为 0.0146。在 100K 令牌下，二进制峰值内存 11.6GB，三进制 14.7GB，而 Q4_K_XL 需约 25.6GB。

吞吐量方面，生成受内存带宽限制，更少的字节/步意味着更多令牌/秒。例如，在 M5 Max 上，二进制变体在预填充 512 令牌时达到 66.4 tok/s，生成 128 令牌时达到 74 tok/s。PrismML 还提供了 DSpark 投机解码模块，在 H100 上以 k=4 的草案深度实现 143.8 tok/s，加速 1.37 倍，输出分布保持不变。

用例包括笔记本电脑本地代理运行三进制版本进行全仓库代码工作（262K 令牌），手机本地推理运行二进制版本（白皮书测量每 1% 电池消耗 672 令牌），以及隐私敏感和离线工作流。结合 4 位 KV 缓存，单 GPU 可在 24GB 显卡上提供 27B 级质量。

Bonsai 27B 的关键要点：将 Qwen3.6-27B 转换为二进制或三进制权重，非新预训练；三进制保留 94.6% FP16 性能，5.9GB；二进制保留 89.5%，3.9GB；二进制版本是首个适合手机的 27B 级模型；传统亚 4 位构建在特定任务上选择性崩溃；所有内容以 Apache 2.0 许可证发布，支持 llama.cpp 和 MLX。