PrismMLは、Qwen3.6-27Bの低ビット表現であるBonsai 27Bをリリースした。これは新しい事前学習モデルではなく、アーキテクチャはそのままである。2つのバリアントがApache 2.0ライセンスで提供される。3値Bonsai 27Bは{−1, 0, +1}の重みを使用し、実効1.71ビット/重みで理想サイズ5.9GB。1ビットBonsai 27Bは{−1, +1}の2値重みを使用し、1.125ビット/重みで3.9GB。両方ともマルチモーダル対応で、言語重み約24.8B、ビジョン塔0.46B、埋め込みとLMヘッド2.5B。ビジョン塔は4ビット(HQQ)で別途保持。コンテキスト長は262Kトークンで、Qwen3.6-27Bの注意機構の約75%が線形であるため実用的。
圧縮方法の核心は、各重みがコードであり、128重みごとに1つのFP16スケールを共有することである。実効重みはw_i = s_g · t_i。3値はlog2(3)≈1.585ビットに加え、128重みあたり16/128ビットで約1.71ビット/重みとなり、FP16比約9.4倍の圧縮。2値は1 + 16/128 = 1.125ビットで約14.2倍の圧縮。この表現は埋め込み、注意投影、MLP投影、LMヘッドなどの行列集中型コンポーネントでエンドツーエンドに動作し、正規化やスケールパラメータなどのごく一部のみ高精度を維持する。
性能面では、PrismMLは15のベンチマークを思考モードで評価した。3値Bonsai 27BはFP16ベースラインの94.6%を維持し、1ビットは89.5%を維持した。従来のサブ4ビット構築はAIME、LiveCodeBench、エージェントタスクで選択的に性能が低下するが、Bonsaiは堅牢である。例えばIQ2_XXSはAIME26で57.5、LiveCodeBenchで56.4に低下するが、MMLU-Reduxでは88.93を維持しており、短形式ベンチマークが崩壊を隠していることを示している。
メモリが主な制約である。iOSは単一アプリの物理メモリを約半分に制限するため、12GBのiPhoneでは約6GBしか利用できない。KVキャッシュが第2の予算であり、262KウィンドウのFP16キャッシュは17.2GBを要するが、4ビットKVキャッシュで約4.3GBに削減される。3値BonsaiはMATH-500においてFP16 KVベースラインに対する出力フォワードKLが0.0011ナットであるのに対し、Q4_K_XLは0.0146である。100Kトークン時、1ビットのピークメモリは11.6GB、3値は14.7GB、Q4_K_XLは約25.6GBを必要とする。
スループットに関して、生成はメモリ帯域幅に制約されるため、ステップあたりのバイト数が少ないほどトークン/秒が向上する。例えばM5 Max上で、2値バリアントはプリフィル512トークン時66.4 tok/s、生成128トークン時74 tok/sを達成。PrismMLはDSpark投機デコーディングモジュールも提供し、H100上でドラフト深さk=4において143.8 tok/s、1.37倍の高速化を実現、出力分布は同一である。
ユースケースとして、ノートPCローカルエージェントは3値版を262Kトークンで全リポジトリコード作業に使用、スマートフォンローカル推論は1ビット版を使用(ホワイトペーパーでは1%のバッテリーで672トークンを計測)、プライバシー重視およびオフラインワークフローも対応。4ビットKVキャッシュと組み合わせることで、シングルGPUで24GBカードに27B級の品質を収められる。
Bonsai 27Bの要点:Qwen3.6-27Bを2値または3値重みに変換、新規事前学習ではない;3値版はFP16の94.6%を5.9GBで維持、1ビット版は89.5%を3.9GBで維持;1ビット版は27B級モデルで初めてスマートフォンに搭載可能;従来のサブ4ビット構築は特定タスクで選択的に崩壊;すべてApache 2.0ライセンスで提供、llama.cppとMLXに対応。