PrismML 發佈了 Bonsai 27B，這是基於 Qwen3.6-27B 的低位表示模型，並非全新的預訓練模型，架構保持不變。該模型提供兩種變體，均採用 Apache 2.0 許可證。三進制 Bonsai 27B 使用 {−1, 0, +1} 權重，實際每位僅 1.71 比特，理想大小為 5.9GB。二進制 Bonsai 27B 使用 {−1, +1} 權重，每位 1.125 比特，大小為 3.9GB。兩種變體均支持多模態，語言權重約 24.8B，視覺塔 0.46B，嵌入和 LM 頭 2.5B。視覺塔以 4 位 (HQQ) 單獨保留。上下文長度為 262K 令牌，得益於 Qwen3.6-27B 約 75% 的注意力是線性的，使其在實際應用中可行。
壓縮方法的核心是每個權重作為一個編碼，每 128 個權重共享一個 FP16 縮放因子。有效權重為 w_i = s_g · t_i。三進制值攜帶 log2(3) ≈ 1.585 位，加上每 128 權重 16/128 位，得到約 1.71 位/權重，相比 FP16 壓縮約 9.4 倍。二進制成本為 1 + 16/128 = 1.125 位，壓縮約 14.2 倍。該表示在嵌入、注意力投影、MLP 投影和 LM 頭等矩陣密集型組件上端到端運行，僅歸一化和縮放參數等極少數尾部保持更高精度。
性能方面，PrismML 在 15 個基準上以思考模式評估了三進制和二進制版本。三進制 Bonsai 27B 保留了 FP16 基線的 94.6%，二進制保留了 89.5%。傳統亞 4 位構建在 AIME、LiveCodeBench 和代理任務上會出現選擇性崩潰，而 Bonsai 表現穩健。例如，IQ2_XXS 在 AIME26 上降至 57.5，在 LiveCodeBench 上降至 56.4，但在 MMLU-Redux 上仍得 88.93，表明短格式基準掩蓋了崩潰。
內存是主要約束。iOS 限制單個應用使用約一半物理內存，因此 12GB iPhone 僅暴露約 6GB。KV 緩存是第二預算，262K 窗口的 FP16 緩存需 17.2GB，4 位 KV 緩存將其降至約 4.3GB。三進制 Bonsai 在 MATH-500 上相對於 FP16 KV 基線的輸出前向 KL 僅為 0.0011 nats，而 Q4_K_XL 為 0.0146。在 100K 令牌下，二進制峯值內存 11.6GB，三進制 14.7GB，而 Q4_K_XL 需約 25.6GB。
吞吐量方面，生成受內存帶寬限制，更少的字節/步意味着更多令牌/秒。例如，在 M5 Max 上，二進制變體在預填充 512 令牌時達到 66.4 tok/s，生成 128 令牌時達到 74 tok/s。PrismML 還提供了 DSpark 投機解碼模塊，在 H100 上以 k=4 的草案深度實現 143.8 tok/s，加速 1.37 倍，輸出分佈保持不變。
用例包括筆記本電腦本地代理運行三進製版本進行全倉庫代碼工作（262K 令牌），手機本地推理運行二進制版本（白皮書測量每 1% 電池消耗 672 令牌），以及隱私敏感和離線工作流。結合 4 位 KV 緩存，單 GPU 可在 24GB 顯卡上提供 27B 級質量。
Bonsai 27B 的關鍵要點：將 Qwen3.6-27B 轉換為二進制或三進制權重，非新預訓練；三進制保留 94.6% FP16 性能，5.9GB；二進制保留 89.5%，3.9GB；二進制版本是首個適合手機的 27B 級模型；傳統亞 4 位構建在特定任務上選擇性崩潰；所有內容以 Apache 2.0 許可證發佈，支持 llama.cpp 和 MLX。