大型語言模型（LLM）在各類任務中表現卓越，但其預訓練架構在效率上仍有明顯短板。一篇近日出現在 arXiv 上的論文（編號 2608.12419，已被 ICML 2026 接收）指出，當前主流架構存在兩個核心問題：第一，自注意力機制缺少對區域性性的顯式歸納偏置，模型會重複建模序列內部的區域性資訊；第二，混合專家模型（MoE）將知識儲存與計算路徑隱式繫結，導致模型難以靈活呼叫序列之外、訓練語料中的全域性知識。作者認為，這兩點共同造成了預訓練階段的冗餘計算與知識利用不充分。
針對上述問題，由 Qiuwu Chen 領銜的 11 位研究者提出了名為 LoKiFormer 的新架構。該架構在標準解碼器之外額外引入兩個專用模組。其一是區域性融合注意力（Local Fusion Attention, LFA），它在注意力計算前加入卷積融合操作，使模型能夠顯式捕捉相鄰 token 之間的區域性模式，再讓注意力機制基於更富資訊量的表示進行互動，從而減少對區域性資訊的重複建模。其二是知識記憶模組（Knowledge Memory Module, KMM），該模組利用引數化的鍵值記憶，將全域性知識顯式存放在可定址的槽位中，使儲存與計算相互解耦。這樣一來，模型在預訓練時既可以利用區域性上下文，也可以直接檢索外部全域性知識，無需像 MoE 那樣把知識壓縮排神經網路的權重裡。
實驗部分，LoKiFormer 與多種基線模型進行了對比，其中包括標準的 Transformer 架構和基於 MoE 的模型。結果顯示，該架構在預訓練階段的收斂速度達到基線的 1.33 倍。這意味著在相同計算預算下，LoKiFormer 可以更快地達到目標困惑度，或者在相同訓練步數內獲得更低的損失。論文作者認為，這一提升來自對區域性與全域性資訊的更高效整合，同時也說明解耦儲存與計算可能成為未來高效 LLM 設計的重要方向。此外，LFA 與 KMM 的互補設計使得模型既保留了注意力的全域性建模能力，又具備區域性的歸納偏置和顯式的知識訪問路徑。
該論文於 2026 年 8 月 12 日提交至 arXiv，並已獲得 ICML 2026 錄用。論文所屬領域為機器學習（cs.LG），並已分配 arXiv 編號 2608.12419，同時提供了 PDF 與 HTML 版本供研究者閱讀。值得注意的是，論文的 DOI 正在透過 DataCite 註冊，尚未生效。對於關注 LLM 預訓練效率、注意力機制改進以及知識儲存設計的研究者，LoKiFormer 提供了一個值得深入分析的新思路。