古典的な普遍近似定理は、シグモイド多層パーセプトロン（MLP）が任意の関数を表現できることを保証していますが、データ分布の幾何構造をエンコードするように重みを初期化する方法については何も述べていません。研究者Yi-Shan Chuによる新しい研究は、単一隠れ層シグモイドMLPのためのスペクトル幾何認識初期化フレームワーク「S-GAI」を提案し、データセットの幾何特性からネットワークのより良い出発点を提供することを目指しています。
S-GAIの核となるアイデアは、シグモイドユニットを滑らかな半空間ゲートと見なすことに由来します。従来の手法では手動で指定された平面幾何に依存することが多かったのに対し、S-GAIは画像データから推定されるクラス別のスペクトル幾何を利用します。具体的には、各クラスに対して特異値分解（SVD）を用いて平均、主方向、スペクトルスケールを計算します。その後、エネルギースレッショルドに基づいて最も重要な方向を選択し、各選択方向を2つのシグモイドゲートで表現します。これらのクラス固有のゲートは共有隠れ層を構成し、その重みは訓練セットから直接初期化されるため、データの幾何構造がネットワークに埋め込まれます。
提案手法の有効性を評価するため、研究者はSVDベースの部分空間分類器を非ニューラル幾何参照として設計し、推定されたスペクトルクラス幾何がMLPに埋め込まれる前に既に識別的であるかをテストしました。実験はMNIST、Fashion-MNIST、およびより困難なCIFAR-10データセットで行われました。その結果、S-GAIで初期化されたMLPは、Xavier初期化よりも初期状態からはるかに情報豊富な隠れ状態を持ち、完全な訓練後には同程度の最終精度に達することが示されました。特に、隠れ層を凍結して出力層のみを訓練した場合、S-GAI初期化はランダムゲート凍結よりも優れた性能を発揮し、S-GAIがクラス別のスペクトル幾何をMLPの初期重みに効果的に埋め込むことを強く示しています。この研究は、データの幾何構造を利用してニューラルネットワークの初期化を導く新しいアプローチを提供し、将来的には深層ネットワークや他の活性化関数への拡張が期待されます。また、S-GAIの計算コストは訓練前のSVD分解に集中しており、実際の訓練中に追加の負担がないため、実用的な可能性も高いです。本研究成果はarXivで公開され、コードもオープンソース化される予定であり、関連分野のさらなる発展を促進するでしょう。