科学シミュレーションから生成される膨大な時空間データは、効率的な保存と転送のために非可逆圧縮を必要とします。学習ベースの圧縮器（オートエンコーダなど）は中程度の精度目標で高い圧縮率を達成できますが、高忠実度領域ではブロックごとの再構成誤差が保証されません。既存のGuaranteed Autoencoder（GAE）法は、SVD/PCAスタイルの係数を保持して各ブロックの残差を補正し、目標精度に達するまで続けます。しかし、ブロックレベルNRMSEが10^-6から10^-4の高忠実度領域では、保持すべき係数が急増し、補正ストリームが全体のビットレートを支配してしまいます。
この問題に対処するため、研究者らは残差中心の新たな視点を提唱しました。学習圧縮器が生成する残差は元の科学場とは構造的に異なるため、残差専用の表現を用いて符号化すべきだという考えです。この考えに基づき、2つの残差符号化器が導入されました。
LBRCは、決定論的で学習を必要としないパイプラインです。学習された残差を目標NRMSEに適応量子化し、得られた整数残差を3D Lorenzo差分、ジグザグマッピング、ビットプレーン符号化、エントロピー符号化を用いて可逆圧縮します。この手法は訓練を必要とせず、推論時に直接符号化を行うため、訓練と推論の間の分布シフトを回避できます。
NGLRはLBRCを拡張し、因果的ニューラル予測器を追加します。この予測器は、同じ決定論的整数パイプラインにおいて、整数丸めされたLorenzo予測に対する正規化バイアスを出力します。これにより、残差コードのエントロピーを低減しつつ、決定論的復号を維持します。予測器の重みは直列化されビットストリームに含まれるため、復号側で正確に再現できます。
実験では、E3SM（エネルギー外スケールモデル）、JHTDB（乱流データベース）、ERA5（気候再解析データ）の3つの代表的な科学データセットを使用しました。ブロックレベルNRMSE目標は10^-6から10^-4です。結果として、LBRCはGAEと比較して圧縮比を30%から60%向上させ、広く使用されているSZ圧縮器と同等以上の性能を示しました。NGLRはLBRCに対してさらに10%から40%の向上を達成し、評価された高忠実度領域でSZを上回りました。
これらの結果は、学習圧縮器の残差に特化した表現手法が、グローバルな残差補正がレート支配的になる場合に学習圧縮の利点を維持できることを示しています。本研究は高忠実度科学データ圧縮の新たな方向性を提供し、気候シミュレーションや流体力学などの分野での応用が期待されます。