近日，一項名為StateSMix的新型無失真壓縮技術引發關注。該技術由獨立研究者Roberto Tacconelli提出，透過將Mamba風格的狀態空間模型（SSM）與稀疏n-gram上下文混合及算術編碼相結合，實現了超越傳統壓縮演算法（如xz）的壓縮率。
StateSMix的核心創新在於其完全自包含的線上學習正規化。與依賴大規模預訓練模型的方案不同，StateSMix從零開始初始化模型引數，並在待壓縮檔案上逐token進行訓練。這意味著它無需GPU加速，也無需任何外部資料集或預訓練權重，僅依賴CPU即可執行。其SSM模組具有約12萬個動態引數（DM=32，NL=2），能夠持續更新對BPE token的機率估計；同時，九個稀疏n-gram雜湊表（從bigram到32-gram，每個表1600萬個槽位）透過一種softmax不變的對數偏置機制記錄精確的區域性和長距離模式，且僅更新非零計數的token。此外，熵自適應縮放機制根據SSM的預測置信度動態調節n-gram的貢獻，避免在神經模型已經校準良好的情況下過度修正。
在標準enwik8基準測試中，StateSMix展現了卓越的效能：在1MB資料上達到2.123 bits per byte（bpb），在3MB上達到2.149 bpb，在10MB上達到2.162 bpb。相比廣泛使用的xz -9e（LZMA2），StateSMix分別實現了8.7%、5.4%和0.7%的壓縮率提升。消融實驗進一步揭示了各元件的作用：SSM單獨使用即可帶來46.6%的體積縮減（相對於頻率計數基線），且無需n-gram元件就能擊敗xz；而n-gram雜湊表透過精確上下文記憶提供了4.1%的額外增益。
在實現方面，StateSMix採用純C語言編寫，並利用AVX2 SIMD指令集進行加速。透過OpenMP對訓練迴圈進行並行化，在4核CPU上可獲得1.9倍的加速比。在普通x86-64硬體上，系統每秒可處理約2000個token。所有程式碼均開源，便於研究人員復現和進一步改進。
StateSMix的成功表明，將輕量級狀態空間模型與傳統上下文混合技術相結合，可以在無需大規模資源的前提下實現頂尖的壓縮效能。這一思路有望為即時資料壓縮、嵌入式系統等場景提供新的解決方案。