半直积傅里叶增量注意力：基于相位控制的增量记忆与构造性块WY核

线性注意力模型通过固定大小的循环状态取代了softmax注意力不断增长的KV缓存，从而显著提高了推理效率。然而，这种压缩也带来了一个关键问题：它限制了模型进行精确状态跟踪和长上下文记忆的能力。为了克服这一局限性，研究者们提出了半直积傅里叶增量注意力（Semidirect Fourier Delta Attention，简称SFDA），这是一种对Kimi Delta注意力机制进行相位控制泛化的新方法。

SFDA的核心创新在于将Kimi Delta注意力中的实对角衰减替换为块旋转傅里叶控制。具体而言，其状态更新公式为：S_t = (I - β_t k_t k_t^*) Λ_t S_{t-1} + β_t k_t v_t^*，其中Λ_t = diag(α_t ⊙ e^{iθ_t})。这一变化使得模型能够通过相位参数θ_t来调节记忆的衰减模式，从而实现对循环状态更精细的控制。

论文的主要理论成果是对乘积A_t = Λ_t - u_t r_t^*提出了一种构造性块WY分解，将乘积形式表示为A_t···A_1 = Γ_t - Y_t M_t W_t^*，其中秩的增长被严格限制在固定大小的块内。这一分解带来了几个重要优势：首先，它实现了精确的仿射块传输，使得每个块的计算可以独立完成；其次，它提供了形式化的稳定性和复杂度界限，保证了算法的数值稳定性；最后，它给出了一种紧凑的表征方式，将相位信息与低秩记忆结合起来，便于分析和优化。

在实验验证方面，研究者通过数值实验确认了代数的正确性，并在一个玩具状态跟踪任务中测试了SFDA的性能。结果显示，SFDA能够成功学习循环记忆模式，而作为基线的相位禁用版本（KDA）则表现接近随机水平，充分证明了相位控制的重要性。此外，论文还指出，融合内核的实现以及在大规模语言模型上的比较研究将是未来工作的重点。

这项工作为线性注意力机制的发展提供了新的方向，通过引入相位控制增强了模型在状态跟踪和长期依赖建模方面的能力，有望在未来的语言模型和序列建模任务中发挥重要作用。