大型語言模型（LLM）在各類任務中表現卓越，但其預訓練架構在效率上仍有明顯短板。一篇近日出現在 arXiv 上的論文（編號 2608.12419，已被 ICML 2026 接收）指出，當前主流架構存在兩個核心問題：第一，自注意力機制缺少對局部性的顯式歸納偏置，模型會重複建模序列內部的局部信息；第二，混合專家模型（MoE）將知識存儲與計算路徑隱式綁定，導致模型難以靈活調用序列之外、訓練語料中的全局知識。作者認為，這兩點共同造成了預訓練階段的冗餘計算與知識利用不充分。
針對上述問題，由 Qiuwu Chen 領銜的 11 位研究者提出了名為 LoKiFormer 的新架構。該架構在標準解碼器之外額外引入兩個專用模塊。其一是局部融合注意力（Local Fusion Attention, LFA），它在注意力計算前加入卷積融合操作，使模型能夠顯式捕捉相鄰 token 之間的局部模式，再讓注意力機制基於更富信息量的表示進行交互，從而減少對局部信息的重複建模。其二是知識記憶模塊（Knowledge Memory Module, KMM），該模塊利用參數化的鍵值記憶，將全局知識顯式存放在可尋址的槽位中，使存儲與計算相互解耦。這樣一來，模型在預訓練時既可以利用局部上下文，也可以直接檢索外部全局知識，無需像 MoE 那樣把知識壓縮進神經網絡的權重裏。
實驗部分，LoKiFormer 與多種基線模型進行了對比，其中包括標準的 Transformer 架構和基於 MoE 的模型。結果顯示，該架構在預訓練階段的收斂速度達到基線的 1.33 倍。這意味着在相同計算預算下，LoKiFormer 可以更快地達到目標困惑度，或者在相同訓練步數內獲得更低的損失。論文作者認為，這一提升來自對局部與全局信息的更高效整合，同時也説明解耦存儲與計算可能成為未來高效 LLM 設計的重要方向。此外，LFA 與 KMM 的互補設計使得模型既保留了注意力的全局建模能力，又具備局部的歸納偏置和顯式的知識訪問路徑。
該論文於 2026 年 8 月 12 日提交至 arXiv，並已獲得 ICML 2026 錄用。論文所屬領域為機器學習（cs.LG），並已分配 arXiv 編號 2608.12419，同時提供了 PDF 與 HTML 版本供研究者閲讀。值得注意的是，論文的 DOI 正在通過 DataCite 註冊，尚未生效。對於關注 LLM 預訓練效率、注意力機制改進以及知識存儲設計的研究者，LoKiFormer 提供了一個值得深入分析的新思路。