LLT：PDEオペレーター学習のための局所線形Transformer

ニューラルオペレーターは、偏微分方程式（PDE）の解写像を学習し、数値シミュレーションを高速化するための一般的な手法となっている。特に、Transformerベースのニューラルオペレーターは、アテンション機構が計算領域内の長距離依存関係を捉えられるため注目されている。しかし、標準的なアテンションをPDEに適用する際には、計算ノード数に対して二次関数的にスケールするという問題と、局所的な相互作用に対する明示的な偏りが欠如しているという問題がある。これらの課題に対処するため、Oded Ovadia氏らはPDEオペレーター学習のためのLocal Linear Transformer（LLT）を提案した。このアーキテクチャは、線形グローバルアテンションと局所空間ミキシングを組み合わせ、座標および幾何情報を統合することで、グローバルな視野を維持しつつ局所的な詳細を効果的に捉える。

LLTの設計では、線形アテンション機構を利用して計算複雑性を低減し、局所混合操作により局所構造の認識を強化している。具体的には、LLTはノード数に対して線形の複雑性を持つ効率的なアテンションを採用し、二次拡張の問題を解決している。さらに、座標と幾何埋め込みを導入することで、不規則なメッシュや複雑な形状に適応できる。この手法は、弾性、塑性、翼型流、管流、ダルシー流を含む複数のPDE問題で評価された。実験データは、有限要素、有限体積、有限差分などの離散化手法と、構造化および非構造メッシュにわたっている。

性能面では、LLTは他のニューラルオペレーターやTransformerベースラインと比較され、全てのテスト問題で競争力のあるまたはより低い相対L2誤差を達成した。特に、一致する構造化離散化設定では、LLTのトレーニング反復あたりの壁掛け時間が従来のTransolverと比較して1.8〜2.5倍削減された。この高速化は線形複雑性のアテンションによるものである。さらに、LLTはサンプルあたり32,186の非構造メッシュ点を持つ3次元自動車空力データセットに拡張適用され、大規模な複雑問題を処理する可能性を示した。

全体として、LLTはPDEオペレーター学習に対して正確で計算効率の高いソリューションを提供し、異なる離散化手法、メッシュタイプ、問題設定に適応できる。この研究は2026年7月にarXivに提出され、そのコードと結果は関連分野のさらなる研究を促進することが期待される。