LLT：用於偏微分方程運算元學習的區域性線性Transformer

神經運算元已成為學習偏微分方程（PDE）解對映和加速數值模擬的重要方法。其中，基於Transformer的神經運算元尤其受到關注，因為注意力機制能夠捕捉計算域中的長程依賴關係。然而，標準注意力在應用於PDE時存在兩大侷限：計算複雜度隨節點數呈二次增長，並且缺乏對區域性互動的顯式偏置。為了解決這些問題，來自研究團隊的Oded Ovadia等人提出了區域性線性Transformer（Local Linear Transformer, LLT），用於PDE運算元學習。該架構將線性全域性注意力與區域性空間混合相結合，並融入了座標和幾何資訊，從而在保持全域性視野的同時有效捕捉區域性細節。

LLT的設計思路是：利用線性注意力機制降低計算複雜度，同時透過區域性混合操作增強對區域性結構的感知。具體而言，LLT採用了一種高效的注意力形式，其複雜度與節點數呈線性關係，解決了二次擴充套件的問題。此外，透過引入座標和幾何嵌入，模型能夠更好地適應不規則網格和複雜幾何形狀。這種方法在多種PDE問題上進行了評估，包括彈性、塑性、翼型流、管流和達西流。實驗資料涵蓋了有限元、有限體積、有限差分等離散化方法，以及結構化和非結構化網格。

在效能方面，LLT與多種基線方法進行了比較，包括其他神經運算元和Transformer變體。結果表明，LLT在所有測試問題上均取得了具有競爭力或更低的相對L2誤差。值得一提的是，在匹配的結構化離散化設定下，LLT每個訓練迭代的牆鍾時間相比之前的Transolver方法減少了1.8到2.5倍。這一加速效果得益於其線性複雜的注意力機制。此外，研究人員還將LLT擴充套件應用於一個三維汽車空氣動力學資料集，該資料集每個樣本包含32,186個非結構化網格點，證明了其處理大規模複雜問題的潛力。

總體而言，LLT為PDE運算元學習提供了一種精確且計算高效的解決方案，能夠適應不同的離散化方法、網格型別和問題設定。該工作已於2026年7月提交至arXiv，其程式碼和結果有望推動相關領域的進一步研究。