arXiv 于 2026 年 8 月 23 日收录了 Linke Zhang 的预印本论文《baseVultra: Compact Nonlinear Recurrence with Reallocated Capacity》(baseVultra:以重分配容量实现的紧凑非线性循环单元),编号 arXiv:2610.30154 [cs.CL],同时交叉归类于 cs.LG。该论文共 14 页、含 3 幅图,作者说明稿件依据 WAIC Academic 2026 的同行评审反馈做过修订(评审结果为 1 个弱接收、2 个边缘意见)。论文关注的背景是:非线性循环网络在流式序列建模中仍然有用,但门控单元的设计长期由 LSTM 与 GRU 主导。作者提出的核心问题是:循环计算能否从门变换中重新分配出来,转而投入候选状态的生成。
据此,作者提出 baseVultra 这一紧凑循环单元。其设计要点是把稠密的循环预算集中到单一的 H×H 候选生成矩阵上,而把循环门矩阵替换为复杂度为 O(H) 的对角交互。候选更新由四部分合成:这条稠密分支、两条低秩辅助分支、一个 EMA 缓存,以及可学习的输出混合。此外,门控还通过对角项获得对 h_{t-2} 的轻量二阶访问能力。
实验分为三组。在 TinyShakespeare 字符级语言建模的紧凑单层 200K 设置下,baseVultra 取得 1.594 的验证损失,参数匹配的 LSTM 为 1.604,参数匹配的 GRU 为 1.616;在该配置、隐藏维度匹配的条件下,其稠密循环矩阵-向量计算量约为 GRU 的 54%。在规模约大 45 倍的 text8 基准上,baseVultra 与全门控单元相当:1.854 bpc,对比 GRU 的 1.849 与 LSTM 的 1.837。在形式语言探针上,最大的增益出现在隐藏状态容量受限的情形——在 H=16 的 Counter 任务上,OOD2 准确率为 0.991,而 GRU 为 0.761、LSTM 为 0.691;但当隐藏维度增大时,这些增益消失。
作者由此给出的结论是:以候选为中心的循环容量分配在何处、何时有效是可以刻画清楚的——收益集中在紧凑区间,而在大规模下全门控单元仍具竞争力。这一结论本身带有明确的边界限定,读者不宜将 TinyShakespeare 上的小幅领先外推到更大模型或更广泛任务。论文全文可通过 arXiv 的 PDF、实验性 HTML 以及 TeX 源码获取,DOI 为 https://doi.org/10.48550/arXiv.2610.30154,由 DataCite 颁发;提交历史显示 v1 版本于 2026 年 8 月 23 日 14:31:35 UTC 提交,文件大小 46 KB。