LLT：用于偏微分方程算子学习的局部线性Transformer

神经算子已成为学习偏微分方程（PDE）解映射和加速数值模拟的重要方法。其中，基于Transformer的神经算子尤其受到关注，因为注意力机制能够捕捉计算域中的长程依赖关系。然而，标准注意力在应用于PDE时存在两大局限：计算复杂度随节点数呈二次增长，并且缺乏对局部交互的显式偏置。为了解决这些问题，来自研究团队的Oded Ovadia等人提出了局部线性Transformer（Local Linear Transformer, LLT），用于PDE算子学习。该架构将线性全局注意力与局部空间混合相结合，并融入了坐标和几何信息，从而在保持全局视野的同时有效捕捉局部细节。

LLT的设计思路是：利用线性注意力机制降低计算复杂度，同时通过局部混合操作增强对局部结构的感知。具体而言，LLT采用了一种高效的注意力形式，其复杂度与节点数呈线性关系，解决了二次扩展的问题。此外，通过引入坐标和几何嵌入，模型能够更好地适应不规则网格和复杂几何形状。这种方法在多种PDE问题上进行了评估，包括弹性、塑性、翼型流、管流和达西流。实验数据涵盖了有限元、有限体积、有限差分等离散化方法，以及结构化和非结构化网格。

在性能方面，LLT与多种基线方法进行了比较，包括其他神经算子和Transformer变体。结果表明，LLT在所有测试问题上均取得了具有竞争力或更低的相对L2误差。值得一提的是，在匹配的结构化离散化设置下，LLT每个训练迭代的墙钟时间相比之前的Transolver方法减少了1.8到2.5倍。这一加速效果得益于其线性复杂的注意力机制。此外，研究人员还将LLT扩展应用于一个三维汽车空气动力学数据集，该数据集每个样本包含32,186个非结构化网格点，证明了其处理大规模复杂问题的潜力。

总体而言，LLT为PDE算子学习提供了一种精确且计算高效的解决方案，能够适应不同的离散化方法、网格类型和问题设置。该工作已于2026年7月提交至arXiv，其代码和结果有望推动相关领域的进一步研究。