線性注意力模型通過固定大小的循環狀態取代了softmax注意力不斷增長的KV緩存，從而顯著提高了推理效率。然而，這種壓縮也帶來了一個關鍵問題：它限制了模型進行精確狀態跟蹤和長上下文記憶的能力。為了克服這一侷限性，研究者們提出了半直積傅里葉增量注意力（Semidirect Fourier Delta Attention，簡稱SFDA），這是一種對Kimi Delta注意力機制進行相位控制泛化的新方法。
SFDA的核心創新在於將Kimi Delta注意力中的實對角衰減替換為塊旋轉傅里葉控制。具體而言，其狀態更新公式為：S_t = (I - β_t k_t k_t^*) Λ_t S_{t-1} + β_t k_t v_t^*，其中Λ_t = diag(α_t ⊙ e^{iθ_t})。這一變化使得模型能夠通過相位參數θ_t來調節記憶的衰減模式，從而實現對循環狀態更精細的控制。
論文的主要理論成果是對乘積A_t = Λ_t - u_t r_t^*提出了一種構造性塊WY分解，將乘積形式表示為A_t···A_1 = Γ_t - Y_t M_t W_t^*，其中秩的增長被嚴格限制在固定大小的塊內。這一分解帶來了幾個重要優勢：首先，它實現了精確的仿射塊傳輸，使得每個塊的計算可以獨立完成；其次，它提供了形式化的穩定性和複雜度界限，保證了算法的數值穩定性；最後，它給出了一種緊湊的表徵方式，將相位信息與低秩記憶結合起來，便於分析和優化。
在實驗驗證方面，研究者通過數值實驗確認了代數的正確性，並在一個玩具狀態跟蹤任務中測試了SFDA的性能。結果顯示，SFDA能夠成功學習循環記憶模式，而作為基線的相位禁用版本（KDA）則表現接近隨機水平，充分證明了相位控制的重要性。此外，論文還指出，融合內核的實現以及在大規模語言模型上的比較研究將是未來工作的重點。
這項工作為線性注意力機制的發展提供了新的方向，通過引入相位控制增強了模型在狀態跟蹤和長期依賴建模方面的能力，有望在未來的語言模型和序列建模任務中發揮重要作用。