Transformer の視覚モデルの中心には、スケールド・ドットプロダクト・アテンション（SDPA）がほぼ標準装備として存在する。すべてのトークンが他の全トークンに対して「どのくらい気にするか」を計算し、N×N の類似度行列を内容から作り出す。著者は以前、ドット積を RBF カーネルに置き換えたことがあるが、今回はもっと根本的な問いを立てる。「ネットワークはなぜ、画像ごとにゼロから『どこを見るか』を内容に基づいて計算しなければならないのか？」
人間が画像を読むとき、鳥の翼のパッチを他の全パッチと類似度検索にかけたりはしない。どこを見るべきかはすでに分かっている。左に少し、上に少し、そこが頭だろうか。もっと外側に、翼の端はどこまで続くのか。見る場所は主に幾何学で決まり、内容は微調整にすぎない。そこで著者はその通りにアテンションを設計した。各ヘッドは少数のガウス原子を持ち、それぞれ中心オフセット (μy, μx)、縦横の幅 (σy, σx)、重み λ の 5 つの数値で表される。この場は画像が変わっても固定で、「どこを見るか」の学習された習慣だ。さらに、各トークンはゼロ初期化された小さな線形層で場のパラメータに小さな残差を加える。コンテンツは一切スコアリングに関わらず、場をわずかに「操縦」するだけである。
結果は著者自身を驚かせた。コンテンツを完全に使わない固定ガウス場だけでも、ImageNet で SDPA との差は約 1 ポイント。操縦を加えるとその差は完全に埋まり、フルモデルはベースラインを上回る。小規模データでは幾何学的先验は +17 ポイントという驚異的な効果を示した。スケールもする。12M パラメータ版は ImageNet で 72% に達し、同じ規模の SDPA モデルより 20% 小型で、実行コストは 30% 安い。さらに二次元ガウスが行と列の 1 次元フィルタに分解できるため、N×N アテンション行列は決して構築されず、計算量はほぼ線形になる。解釈性も劇的に向上し、各ヘッドは数個のガウスの「ブロブ」として直接プロットでき、定規で測るように読める。著者は、2020 年の Synthesizer がランダムな学習済みアテンション行列でも驚くほど機能することを示したと述べ、SSOG はアテンション行列を滑らかで平行移動不変な幾何学的対象に強制するものだと位置づけている。畳み込みのような空間事前分布だが、より柔らかく長距離を捉える。