序列知识 #878：超越Transformer：我们学到的

要点

• 自注意力机制带来二次方复杂度，长序列计算和内存成本高昂。
• 四种替代方向：递归模型（恒内存）、状态空间模型（线性缩放）、文本扩散（并行生成）、液态模型（连续时间动态）。
• 没有替代方案能完全取代注意力机制，但未来大概率是混合架构。
• 新系列将深入知识蒸馏，探讨如何将大型教师模型压缩为小型学生模型。