半直積フーリエデルタ注意：位相制御デルタメモリと構成的チャンクWYカーネル

線形注意機構はソフトマックス注意が持つ成長するKVキャッシュを固定サイズのリカレント状態に置き換えることで、推論効率を大幅に向上させます。しかし、この圧縮は正確な状態追跡と長文脈記憶の能力を制限するというトレードオフを伴います。この問題に対処するため、研究者らは半直積フーリエデルタ注意（Semidirect Fourier Delta Attention, SFDA）を提案しました。これはKimiデルタ注意を位相制御によって一般化したもので、実対角減衰をブロック回転フーリエ制御に置き換えます。

SFDAの状態更新式は S_t = (I - β_t k_t k_t^*) Λ_t S_{t-1} + β_t k_t v_t^* で表され、Λ_t = diag(α_t ⊙ e^{iθ_t}) となります。位相パラメータθ_tを導入することで、記憶の減衰パターンを柔軟に調整できるようになり、循環状態の制御性が向上します。

本論文の主要な理論的貢献は、積 A_t = Λ_t - u_t r_t^* に対する構成的チャンクWY分解です。これにより、A_t···A_1 = Γ_t - Y_t M_t W_t^* という表現が得られ、ランクの成長が固定チャンク内に制限されます。この分解は以下の利点をもたらします：正確なアフィンチャンク転送の実現、形式的な安定性と複雑性の限界の提供、そして位相と低ランク記憶を組み合わせたコンパクトな特徴付けの導出です。

実験的検証では、数値実験により代数の正しさが確認され、おもちゃの状態追跡タスクにおいてSFDAが循環記憶を学習できることが示されました。一方、位相を無効化したKDAベースラインはほぼ偶然のレベルに留まり、位相制御の重要性が明確になりました。今後の課題として、融合カーネルの実装と大規模言語モデルにおける比較評価が挙げられています。

本研究は、線形注意機構に位相制御を導入することで、状態追跡と長期依存関係のモデリング能力を強化する新しい方向性を示しており、将来の言語モデルや系列モデリングタスクへの応用が期待されます。