近日，一项名为StateSMix的新型无损压缩技术引发关注。该技术由独立研究者Roberto Tacconelli提出，通过将Mamba风格的状态空间模型（SSM）与稀疏n-gram上下文混合及算术编码相结合，实现了超越传统压缩算法（如xz）的压缩率。
StateSMix的核心创新在于其完全自包含的在线学习范式。与依赖大规模预训练模型的方案不同，StateSMix从零开始初始化模型参数，并在待压缩文件上逐token进行训练。这意味着它无需GPU加速，也无需任何外部数据集或预训练权重，仅依赖CPU即可运行。其SSM模块具有约12万个动态参数（DM=32，NL=2），能够持续更新对BPE token的概率估计；同时，九个稀疏n-gram哈希表（从bigram到32-gram，每个表1600万个槽位）通过一种softmax不变的对数偏置机制记录精确的局部和长距离模式，且仅更新非零计数的token。此外，熵自适应缩放机制根据SSM的预测置信度动态调节n-gram的贡献，避免在神经模型已经校准良好的情况下过度修正。
在标准enwik8基准测试中，StateSMix展现了卓越的性能：在1MB数据上达到2.123 bits per byte（bpb），在3MB上达到2.149 bpb，在10MB上达到2.162 bpb。相比广泛使用的xz -9e（LZMA2），StateSMix分别实现了8.7%、5.4%和0.7%的压缩率提升。消融实验进一步揭示了各组件的作用：SSM单独使用即可带来46.6%的体积缩减（相对于频率计数基线），且无需n-gram组件就能击败xz；而n-gram哈希表通过精确上下文记忆提供了4.1%的额外增益。
在实现方面，StateSMix采用纯C语言编写，并利用AVX2 SIMD指令集进行加速。通过OpenMP对训练循环进行并行化，在4核CPU上可获得1.9倍的加速比。在普通x86-64硬件上，系统每秒可处理约2000个token。所有代码均开源，便于研究人员复现和进一步改进。
StateSMix的成功表明，将轻量级状态空间模型与传统上下文混合技术相结合，可以在无需大规模资源的前提下实现顶尖的压缩性能。这一思路有望为实时数据压缩、嵌入式系统等场景提供新的解决方案。