大規模言語モデル（LLM）はさまざまな応用で目覚ましい成果を上げているが、その事前学習アーキテクチャには依然として効率面での課題が残る。arXivに公開された論文（番号2608.12419、ICML 2026に採択）は、現在の主流アーキテクチャに2つの根本的な問題があると指摘する。第1に、自己アテンションには局所性に関する明示的な帰納バイアスがなく、系列内部の局所情報を冗長にモデル化してしまう。第2に、混合エキスパート（MoE）は知識の保存と計算経路を暗黙に結合するため、系列の外にあるグローバルな知識を柔軟に利用できない。著者らは、この2点が事前学習における冗長な計算と知識利用の不十分さを引き起こしていると考える。
この問題を解決するため、Qiuwu Chen氏を含む11人の研究者はLoKiFormerという新しいアーキテクチャを提案した。LoKiFormerは標準的なデコーダに2つの専用モジュールを追加する。1つ目は局所融合アテンション（Local Fusion Attention, LFA）で、アテンションの計算に畳み込み融合を組み込む。これにより、隣接トークン間の局所パターンを明示的に捉え、より情報量の高い表現に基づいてアテンションを計算できる。2つ目は知識メモリモジュール（Knowledge Memory Module, KMM）で、パラメトリックなキー・バリューメモリを導入し、グローバル知識をアドレス可能なスロットに明示的に格納する。これにより、記憶と計算が分離され、モデルは外部の知識を直接取り出すことができる。MoEのように知識をネットワークの重みに暗黙に圧縮する必要はない。
実験では、LoKiFormerは複数のベースラインモデルと比較され、事前学習の収束速度がベースラインの1.33倍に達した。これは、同じ計算予算であればより早く目標の困惑度に到達できること、あるいは同じ訓練ステップ数でより低い損失を得られることを意味する。著者らは、この改善は局所情報とグローバル情報のより効率的な統合によるものであり、記憶と計算の分離が将来の効率的なLLM設計において重要な方向性になると述べている。
論文は2026年8月12日にarXivへ投稿され、ICML 2026に受理されている。分野は機械学習（cs.LG）で、arXiv番号は2608.12419、PDF版とHTML版（実験的）が公開されている。DOIはDataCiteを通じて登録手続き中であり、まだ有効になっていない点に注意が必要だ。LLMの事前学習効率やアテンション機構の改良、知識記憶の設計に関心のある研究者にとって、LoKiFormerは分析に値する新しい提案である。