トランスフォーマーモデル圧縮のためのロバスト基底スプライン分離

深層学習において、モデル圧縮は大規模ニューラルネットワークをリソース制約のあるデバイスに展開するために不可欠です。分離（Decoupling）は強力なモデリングパラダイムであり、多変数関数を線形変換と単変数非線形関数の合成として表現することで、構造化された近似を可能にし、パラメータの複雑さを大幅に低減します。単層の分離は、単一の隠れ層と柔軟な活性化関数を持つ全結合ニューラルネットワークと見なすことができ、ニューラルネットワークとの直接的な関連を持ちます。このため、分離手法はニューラルネットワーク分野、特に圧縮において注目を集めています。

しかしながら、既存のテンソルベースの分離手法は、内部の非線形関数を多項式や区分的線形関数でパラメータ化するのが一般的です。これらの方法には顕著な欠点があります：多項式パラメータ化は高次で数値的不安定性を引き起こしやすく、区分的線形関数は固定された区分構造のために表現力が制限されます。これらの限界を克服するために、研究者たちはBスプラインに基づく分離フレームワークを導入しました。これは既存のアプローチを一般化するものです。

Bスプラインは局所的なサポートと柔軟な平滑性制御を備えており、提案された表現は数値的により安定し、より高い表現力を発揮します。このアイデアに基づき、著者らは制約付き結合行列-テンソル分解を導出し、正規化とTikhonov正則化を組み込んだロバスト交互最小二乗アルゴリズム（R-CMTF-BSD）を提案しました。このアルゴリズムは求解プロセスのロバスト性と収束性を向上させます。

本手法の有効性を検証するため、研究チームは合成データと実際のトランスフォーマーアーキテクチャ（Vision TransformerおよびSwin Transformer）で実験を行いました。結果は、Bスプライン分離が競争力のある精度を維持しながら、パラメータを大幅に削減できることを示しています。例えば、ViTではパラメータが数分の一に圧縮され、分類精度の低下はわずかでした。この成果により、R-CMTF-BSDアルゴリズムは構造化ニューラルネットワーク圧縮の有望なツールとなります。

本論文はJoppe De Jongheら3名の著者により、2026年5月11日にarXivに提出されました。読者は論文ページからPDF全文や詳細情報を入手できます。この研究は、特にトランスフォーマーモデルがますます大規模化する中で、より効率的なモデル圧縮技術の基盤を提供します。