arXivに投稿された新論文（2606.00130、著者はAndrzej Cichocki氏とMichal Wietczak氏、2026年5月28日提出）は、「自動微分可能な非線形テンソルネットワーク（Automatically Differentiable Nonlinear Tensor Networks、ADNTN）」と呼ぶモデル群を研究している。これは構造化された重み生成器の一種であり、コンパクトなコアテンソルを逆モード自動微分（AD）によってエンドツーエンドで訓練する。つまり、小さなパラメータから大きな重みを生成する過程そのものを学習する。
著者らはこの手法を、低ランク適応やテンソル分解の考え方を自然に拡張したものと位置づけている。従来の低ランク適応が一つの低ランク行列による更新を用いるのに対し、ADNTNは小さなコアテンソルの階層、非線形活性化、そして任意で横方向の混合テンソルを組み合わせて、大規模な重みテンソルを構築する。ネットワークの重みを直接保存・学習するのではなく、制約された微分可能な生成過程を通じて組み上げることで、パラメータ規模と表現力の新たなバランスを探る狙いがある。
論文が焦点を当てるアーキテクチャは三つある。第一に、コアテンソルを木構造で組織するツリーテンソルネットワーク（TTN）。第二に、境界に disentangler を加えた拡張版TTN（aTTN）。第三に、量子多体物理学に由来し、階層的な disentangling と繰り込みによって多スケールの相関を表現する多スケールもつれ繰り込み Ansatz（MERA）である。これらは重みの圧縮表現に対して異なる数学的な組織化の方法を与える。
実装面では、この定式化は非線形活性化、タスクに応じた目的関数、バッチ処理、ハードウェアを意識した実行スケジュールをサポートする。ただし著者らは、「縮約プログラムを微分可能にすること」と「縮約を無コストにすること」を明確に区別している。自動微分は、大きな中間テンソルに伴うメモリと計算のコストを消すものではなく、悪い縮約順序の代償を補うものでもなく、一般のループを持つテンソルネットワークの厳密縮約を安価にするものでもない。この注意は、実運用コストを評価するうえで重要である。
実験では、AlexNetとVGG-16の層に対して大規模なシミュレーションを実施し、検討した設定において層あたりおおむね2000倍から77000倍の圧縮率を報告している。精度はしばしば密なベースラインと同等であり、VGG-16のいくつかのケースではそれを上回った。著者らはこの結果をあくまで慎重に位置づけており、最終結論ではなく有望な初期証拠とみなしている。ADNTNは、最適化、縮約スケジュール、展開用カーネルを一体で設計することを条件に、はるかに小さなニューラルネットワークへ向かう、数学的構造とハードウェア適合性を備えた道筋になり得るという。
本論文は図6点を含む28ページで、ジャーナルおよび会議への投稿が予定されており、機械学習（cs.LG）と人工知能（cs.AI）に分類されている。