近日，一項名為StateSMix的新型無損壓縮技術引發關注。該技術由獨立研究者Roberto Tacconelli提出，通過將Mamba風格的狀態空間模型（SSM）與稀疏n-gram上下文混合及算術編碼相結合，實現了超越傳統壓縮算法（如xz）的壓縮率。
StateSMix的核心創新在於其完全自包含的在線學習範式。與依賴大規模預訓練模型的方案不同，StateSMix從零開始初始化模型參數，並在待壓縮文件上逐token進行訓練。這意味着它無需GPU加速，也無需任何外部數據集或預訓練權重，僅依賴CPU即可運行。其SSM模塊具有約12萬個動態參數（DM=32，NL=2），能夠持續更新對BPE token的概率估計；同時，九個稀疏n-gram哈希表（從bigram到32-gram，每個表1600萬個槽位）通過一種softmax不變的對數偏置機制記錄精確的局部和長距離模式，且僅更新非零計數的token。此外，熵自適應縮放機制根據SSM的預測置信度動態調節n-gram的貢獻，避免在神經模型已經校準良好的情況下過度修正。
在標準enwik8基準測試中，StateSMix展現了卓越的性能：在1MB數據上達到2.123 bits per byte（bpb），在3MB上達到2.149 bpb，在10MB上達到2.162 bpb。相比廣泛使用的xz -9e（LZMA2），StateSMix分別實現了8.7%、5.4%和0.7%的壓縮率提升。消融實驗進一步揭示了各組件的作用：SSM單獨使用即可帶來46.6%的體積縮減（相對於頻率計數基線），且無需n-gram組件就能擊敗xz；而n-gram哈希表通過精確上下文記憶提供了4.1%的額外增益。
在實現方面，StateSMix採用純C語言編寫，並利用AVX2 SIMD指令集進行加速。通過OpenMP對訓練循環進行並行化，在4核CPU上可獲得1.9倍的加速比。在普通x86-64硬件上，系統每秒可處理約2000個token。所有代碼均開源，便於研究人員復現和進一步改進。
StateSMix的成功表明，將輕量級狀態空間模型與傳統上下文混合技術相結合，可以在無需大規模資源的前提下實現頂尖的壓縮性能。這一思路有望為實時數據壓縮、嵌入式系統等場景提供新的解決方案。