2026年6月17日、arXivに「ITNet: A Learnable Integral Transform That Subsumes Convolution, Attention, and Recurrence」という論文が投稿されました。著者のAshim Dhorらは、積分変換ネットワーク（Integral Transform Network, ITNet）と呼ばれる新しい統一アーキテクチャを提案しています。このアーキテクチャは、畳み込みネットワーク、再帰ネットワーク、Transformerというこれまで数学的に異なるとされてきた三つのアーキテクチャを、一つの学習可能な積分変換として統一的に捉えるものです。
従来、畳み込みネットワークは局所性、再帰ネットワークは系列記憶、Transformerは内容依存のペアワイズ相互作用という異なる帰納的バイアスを符号化してきました。しかし、ITNetの著者たちは、この断片化は信号処理の根本的な多様性を反映するものではなく、単一の数学的対象（学習可能な積分変換）の不完全なビューに過ぎないと主張します。ITNetは位置と特徴に同時に依存する学習可能なカーネルを中心に構築され、このカーネルは小型ニューラルネットワーク（MLP）として実装され、ペアワイズ相互作用をモデル化します。これにより、モデルはデータから適応的に振る舞いを変えることができます。
論文では、畳み込み、自己注意（マルチヘッド注意を含む）、および自己回帰再帰（LSTM、GRU、S4、Mambaを含む）が適切なパラメータ化のもとでITNetの特殊ケースとして現れることが示されています。さらに、ITNetは連続作用素の普遍近似器であり、実用性を高めるためにタイル化カーネル融合、重要度重み付きモンテカルロ積分、学習可能な低ランク分解といった効率的な計算手法が開発されました。
実験では、単一のITNetアーキテクチャに共有作用素と軽量なモダリティ固有エンコーダを組み合わせたものが、ImageNet-1K（画像分類）、GLUE（自然言語理解）、ModelNet40（3D点群分類）、VQA v2（視覚質問応答）、NLVR2（自然言語視覚推論）といった多様なベンチマークにおいて、専門的なベースラインモデルに匹敵またはそれを上回る性能を示しました。この結果は、単一の学習可能な相互作用機構がデータから三つのアーキテクチャ族すべての振る舞いを復元できることを証明しています。本論文は人工知能および機械学習の分野に分類され、arXiv番号は2606.19538です。