LLT：用於偏微分方程算子學習的局部線性Transformer

神經算子已成為學習偏微分方程（PDE）解映射和加速數值模擬的重要方法。其中，基於Transformer的神經算子尤其受到關注，因為注意力機制能夠捕捉計算域中的長程依賴關係。然而，標準注意力在應用於PDE時存在兩大侷限：計算複雜度隨節點數呈二次增長，並且缺乏對局部交互的顯式偏置。為了解決這些問題，來自研究團隊的Oded Ovadia等人提出了局部線性Transformer（Local Linear Transformer, LLT），用於PDE算子學習。該架構將線性全局注意力與局部空間混合相結合，並融入了座標和幾何信息，從而在保持全局視野的同時有效捕捉局部細節。

LLT的設計思路是：利用線性注意力機制降低計算複雜度，同時通過局部混合操作增強對局部結構的感知。具體而言，LLT採用了一種高效的注意力形式，其複雜度與節點數呈線性關係，解決了二次擴展的問題。此外，通過引入座標和幾何嵌入，模型能夠更好地適應不規則網格和複雜幾何形狀。這種方法在多種PDE問題上進行了評估，包括彈性、塑性、翼型流、管流和達西流。實驗數據涵蓋了有限元、有限體積、有限差分等離散化方法，以及結構化和非結構化網格。

在性能方面，LLT與多種基線方法進行了比較，包括其他神經算子和Transformer變體。結果表明，LLT在所有測試問題上均取得了具有競爭力或更低的相對L2誤差。值得一提的是，在匹配的結構化離散化設置下，LLT每個訓練迭代的牆鍾時間相比之前的Transolver方法減少了1.8到2.5倍。這一加速效果得益於其線性複雜的注意力機制。此外，研究人員還將LLT擴展應用於一個三維汽車空氣動力學數據集，該數據集每個樣本包含32,186個非結構化網格點，證明了其處理大規模複雜問題的潛力。

總體而言，LLT為PDE算子學習提供了一種精確且計算高效的解決方案，能夠適應不同的離散化方法、網格類型和問題設置。該工作已於2026年7月提交至arXiv，其代碼和結果有望推動相關領域的進一步研究。