ResonatorLM：用因果共振場混合實現高效長上下文語言建模

隨着大語言模型的發展，Transformer架構因其自注意力機制而成為主流，實現了高效的並行訓練。然而，在處理長上下文時，Transformer及其變體如RNN和CNN的效率會顯著下降。這是因為自注意力機制的計算複雜度與序列長度呈二次關係，導致長序列下的訓練和推理變得非常昂貴。針對這一問題，研究者提出了一種名為ResonatorLM的新機制，它用物理推導的因果共振場混合替代了傳統的注意力計算，為長上下文建模提供了一種全新的思路。

ResonatorLM的核心思想是將token序列視為一個單一的、受驅動的一維潛場，並用阻尼諧振子的因果函數來替代注意力點積。這種設計巧妙地避免了注意力機制中的二次複雜度，使得模型能夠以線性或接近線性的複雜度處理長序列。具體來説，ResonatorLM通過模擬物理系統中的共振現象，讓每個token對其後續token產生因果性的影響，從而捕獲序列中的依賴關係。這種物理啓發的方法不僅理論上優雅，而且在實際實驗中表現出了優異的性能。

研究團隊在傳統的網絡架構上實現了ResonatorLM，並在標準的長上下文建模任務上進行了評估。實驗在6M參數的小規模設置下進行，結果顯示，ResonatorLM的訓練和預填充速度隨着序列長度的增加而顯著提升。在32K token的序列長度上，解碼速度達到了標準優化Transformer的6.47倍，這意味着在處理超長文檔時，ResonatorLM可以大幅降低推理延遲。同時，在WikiText數據集上，ResonatorLM的準確率達到61.31%，相比基準Transformer的55.32%有顯著提升，證明其不僅能提高效率，還能保持或改進模型質量。

該論文已被ICANN 2026會議接收，標誌着長上下文建模領域的一項有前景的創新。ResonatorLM的提出不僅為克服Transformer的侷限性提供了新的方向，還展示了物理啓發方法在機器學習中的巨大潛力。未來，這項工作可能會影響模型架構的設計選擇，推動更高效的長上下文應用，如文檔理解、代碼生成和多輪對話等。