跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

baseVultra:重新分配容量的緊湊型非線性迴圈單元

文章摘要

arXiv 新預印本提出 baseVultra 迴圈單元,將稠密迴圈計算預算從門變換重新分配給候選生成:用單個 H×H 候選生成矩陣替代多個迴圈門矩陣,門控僅保留 O(H) 對角互動。在 TinyShakespeare 字元級語言建模上,其驗證損失為 1.594,優於同引數量 LSTM(1.604)和 GRU(1.616),稠密迴圈矩陣向量計算量約為 GRU 的 54%;但在更大的 text8 基準上僅與全門控單元持平,形式語言探針上的優勢也只在隱藏狀態容量受限時出現,H 增大後消失。

來源arXiv Computational Linguistics作者: Linke Zhang
baseVultra:重新分配容量的緊湊型非線性迴圈單元
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

arXiv 於 2026 年 8 月 23 日收錄了 Linke Zhang 的預印本論文《baseVultra: Compact Nonlinear Recurrence with Reallocated Capacity》(baseVultra:以重分配容量實現的緊湊非線性迴圈單元),編號 arXiv:2610.30154 [cs.CL],同時交叉歸類於 cs.LG。該論文共 14 頁、含 3 幅圖,作者說明稿件依據 WAIC Academic 2026 的同行評審反饋做過修訂(評審結果為 1 個弱接收、2 個邊緣意見)。論文關注的背景是:非線性迴圈網路在流式序列建模中仍然有用,但門控單元的設計長期由 LSTM 與 GRU 主導。作者提出的核心問題是:迴圈計算能否從門變換中重新分配出來,轉而投入候選狀態的生成。

據此,作者提出 baseVultra 這一緊湊迴圈單元。其設計要點是把稠密的迴圈預算集中到單一的 H×H 候選生成矩陣上,而把迴圈門矩陣替換為複雜度為 O(H) 的對角互動。候選更新由四部分合成:這條稠密分支、兩條低秩輔助分支、一個 EMA 快取,以及可學習的輸出混合。此外,門控還透過對角項獲得對 h_{t-2} 的輕量二階訪問能力。

實驗分為三組。在 TinyShakespeare 字元級語言建模的緊湊單層 200K 設定下,baseVultra 取得 1.594 的驗證損失,引數匹配的 LSTM 為 1.604,引數匹配的 GRU 為 1.616;在該配置、隱藏維度匹配的條件下,其稠密迴圈矩陣-向量計算量約為 GRU 的 54%。在規模約大 45 倍的 text8 基準上,baseVultra 與全門控單元相當:1.854 bpc,對比 GRU 的 1.849 與 LSTM 的 1.837。在形式語言探針上,最大的增益出現在隱藏狀態容量受限的情形——在 H=16 的 Counter 任務上,OOD2 準確率為 0.991,而 GRU 為 0.761、LSTM 為 0.691;但當隱藏維度增大時,這些增益消失。

作者由此給出的結論是:以候選為中心的迴圈容量分配在何處、何時有效是可以刻畫清楚的——收益集中在緊湊區間,而在大規模下全門控單元仍具競爭力。這一結論本身帶有明確的邊界限定,讀者不宜將 TinyShakespeare 上的小幅領先外推到更大模型或更廣泛任務。論文全文可透過 arXiv 的 PDF、實驗性 HTML 以及 TeX 原始碼獲取,DOI 為 https://doi.org/10.48550/arXiv.2610.30154,由 DataCite 頒發;提交歷史顯示 v1 版本於 2026 年 8 月 23 日 14:31:35 UTC 提交,檔案大小 46 KB。

展開要點與分析

文章情報

工程師進階

要點

  • 核心思路是把迴圈計算預算集中到單一 H×H 候選生成矩陣,門控改用 O(H) 對角互動
  • TinyShakespeare 200K 單層設定下驗證損失 1.594,優於同引數 LSTM 與 GRU,且迴圈矩陣乘法開銷約為 GRU 的 54%
  • text8 上 1.854 bpc,與 GRU(1.849)和 LSTM(1.837)基本持平
  • 形式語言探針中優勢集中在 H=16 等受限容量場景,隱藏維度增大後全門控單元重新具備競爭力

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。