新たな可逆圧縮手法StateSMixが注目を集めています。本手法は独立研究者Roberto Tacconelliによって提案され、Mambaスタイルの状態空間モデル（SSM）とスパースn-gramコンテキスト混合、算術符号化を組み合わせることで、従来の圧縮アルゴリズム（xzなど）を凌駕する圧縮率を実現します。
StateSMixの核心は、完全に自己完結型のオンライン学習パラダイムにあります。大規模な事前学習モデルに依存するアプローチとは異なり、StateSMixはモデルパラメータをゼロから初期化し、圧縮対象ファイル上でトークン単位で逐次学習を行います。そのため、GPUや外部データセット、事前学習済み重みは一切不要で、CPUのみで動作可能です。SSMモジュールは約12万の動的パラメータ（DM=32、NL=2）を持ち、BPEトークンの確率推定を継続的に更新します。同時に、9つのスパースn-gramハッシュテーブル（バイグラムから32-gramまで、各1600万スロット）が、ソフトマックス不変のロジットバイアス機構を通じて正確な局所的および長距離パターンを記録し、非ゼロカウントのトークンのみを更新します。さらに、エントロピー適応スケーリング機構がSSMの予測信頼度に基づいてn-gramの寄与を調整し、ニューラルモデルが既に較正されている場合の過修正を防ぎます。
標準的なenwik8ベンチマークにおいて、StateSMixは優れた性能を示しました：1MBデータで2.123 bits per byte（bpb）、3MBで2.149 bpb、10MBで2.162 bpbを達成。広く使われているxz -9e（LZMA2）と比較して、それぞれ8.7%、5.4%、0.7%の圧縮率向上を実現しています。アブレーション実験により各コンポーネントの役割が明らかになりました：SSM単体で頻度カウントベースライン比46.6%のサイズ削減をもたらし、n-gramコンポーネントなしでもxzを凌駕。一方、n-gramハッシュテーブルは正確なコンテキスト記憶により4.1%の追加利得を提供します。
実装面では、StateSMixは純粋なC言語で書かれ、AVX2 SIMD命令セットを活用して高速化を図っています。OpenMPによる学習ループの並列化により、4コアCPUで1.9倍の高速化を達成。一般的なx86-64ハードウェア上で、システムは毎秒約2000トークンを処理できます。すべてのコードはオープンソースとして公開されており、研究者による再現や改良が容易です。
StateSMixの成功は、軽量な状態空間モデルと従来のコンテキスト混合技術を組み合わせることで、大規模リソースを必要とせずに最先端の圧縮性能を実現できることを示しています。このアプローチは、リアルタイムデータ圧縮や組み込みシステムなどのシナリオに新たなソリューションを提供する可能性があります。