来自 arXiv 的一篇新论文（编号 2606.00130，作者为 Andrzej Cichocki 与 Michal Wietczak，提交于 2026 年 5 月 28 日）研究了一类名为“自动可微非线性张量网络”（Automatically Differentiable Nonlinear Tensor Networks，简称 ADNTN）的模型。它属于结构化权重生成器：其紧凑的核心张量通过反向模式自动微分（AD）进行端到端训练，从而在训练过程中自动学习如何由小参数生成大权重。
作者将该方法定位为低秩适配与张量分解思路的自然延伸。传统的低秩适配通常只用一个低秩矩阵去修正权重，而 ADNTN 则通过层级结构构造一个规模庞大的权重张量：这一层级由若干小型核心张量、非线性激活函数以及可选的横向混合张量组成。换言之，网络的权重不再被直接存储和学习，而是由受约束的、可微的生成过程逐步组合出来，从而在参数规模与表达力之间寻找新的平衡。
论文具体聚焦三种架构。第一种是树形张量网络（Tree Tensor Networks，TTN），它以树状拓扑组织核心张量；第二种是在 TTN 基础上加入边界解纠缠器的增强型 TTN（aTTN）；第三种则是源自量子多体物理的多尺度纠缠重整化拟设（MERA），它通过分层解纠缠与重整化结构刻画多尺度关联。这三种结构为权重的压缩表示提供了不同的数学组织方式。
在工程实现上，该形式化框架支持非线性激活、任务感知的目标函数、批处理以及面向硬件的执行调度。也就是说，训练不只是在数学上可微，还能适配实际硬件上的批量化执行与调度策略。但作者同时明确区分了两个概念：让一个收缩程序“可被微分”，并不等于让收缩“变得免费”。自动微分不会消除大型中间张量的内存与计算开销，也无法弥补糟糕的收缩顺序带来的代价，更不能让一般带环张量网络的精确收缩变得廉价。这一提醒对评估该方法的实际部署成本十分关键。
实验结果方面，论文在 AlexNet 与 VGG-16 的层上进行了大量模拟，报告的单层压缩比大致在 2000 倍到 77000 倍之间（具体取决于所研究的设置）。精度上，压缩后的模型往往能够与稠密基线持平，在若干 VGG-16 场景中甚至有所提升。作者对这类结果保持谨慎：它们属于鼓舞人心的初步证据，而非最终结论。论文认为，ADNTN 提供了一条有数学结构、且兼顾硬件特性的路径，有望通往规模小得多的神经网络，但前提是优化方法、收缩调度与部署内核必须协同设计。
该论文共 28 页、含 6 幅图，计划投稿至期刊与会议，主题归类为机器学习（cs.LG）与人工智能（cs.AI）。