自動微分可能な非線形テンソルネットワーク（ADNTN）によるディープニューラルネットワークの指数関数的圧縮
本論文では、自動微分可能な非線形テンソルネットワーク（ADNTNs）を研究する。これは構造化された重み生成器のファミリーであり、コンパクトなコアテンソルが逆モード自動微分（AD）によってエンドツーエンドで訓練される。このアプローチは低ランク適応やテンソル分解の自然な拡張と見なせ、小さなコア、非線形活性化、およびオプションの横方向混合テンソルの階層を通じて大きな重みテンソルを構築する。論文は3つのアーキテクチャに焦点を当てる：木テンソルネットワーク（TTN）、拡張TTN（aTTN）、およびマルチスケールエンタングルメント再規格化アンザッツ（MERA）。AlexNetおよびVGG-16層での実験により、約2000倍から77000倍の層ごとの圧縮率を達成し、精度は多くの場合密なベースラインと同等か、いくつかのVGG-16ケースではそれを上回った。これらの結果は有望ではあるが最終的なものではなく、最適化、収縮スケジュール、および展開カーネルが一緒に設計されれば、ADNTNがより小さなニューラルネットワークへの有望な数学的に構造化されたハードウェア認識経路であることを示唆している。
自動微分可能な非線形テンソルネットワーク（ADNTNs）は、ディープニューラルネットワークに必要なパラメータ数を指数関数的に削減するための新しい構造化重み生成手法です。この研究はAndrzej Cichocki氏とMichal Wietczak氏によって行われ、論文は2026年5月28日にarXivに提出され、機械学習（cs.LG）と人工知能（cs.AI）の分野に属しています。
ADNTNの中心的なアイデアは、大きな重みテンソルを複数の小さなコアテンソルの階層的な組み合わせに分解し、これらのコアテンソルを逆モード自動微分によりエンドツーエンドで訓練することです。従来の低ランク適応手法とは異なり、ADNTNは単一の低ランク行列更新を使用するのではなく、非線形活性化とオプションの横方向混合テンソルを介して階層構造を構築します。論文では、木テンソルネットワーク（TTNs）、境界ディスタングラーを備えた拡張TTNs（aTTNs）、およびマルチスケールエンタングルメント再規格化アンザッツ（MERA）の3つのアーキテクチャに焦点を当てています。
このフレームワークは、非線形活性化関数、タスク認識目的、バッチ処理、およびハードウェア認識実行スケジュールをサポートしています。ただし、自動微分は大きな中間変数、不適切な収縮順序、または一般的なループテンソルネットワークの正確な収縮のコストを排除しないことが明確に述べられています。したがって、最適化と収縮計画の設計が重要です。
AlexNetおよびVGG-16層での広範なシミュレーションにより、研究設定において約2000倍から77000倍の層ごとの圧縮率が示されました。精度は多くの場合密なベースラインと同等であり、いくつかのVGG-16ケースでは改善さえ見られました。これらの結果は有望ですが最終的なものではありません。著者らは、ADNTNがより小さなニューラルネットワークへの有望な数学的に構造化されたハードウェア認識経路であると強調し、最適化、収縮スケジュール、および展開カーネルを一緒に設計する必要があると述べています。
論文には6つの図が含まれ、全28ページで、ジャーナルと会議に提出予定です。arXiv番号は2606.00130、DOIは登録待ちです。